AI 에이전트 운영: 데모와 프로덕션을 가르는 신뢰와 평가 체계

핵심 메시지

• 데모와 프로덕션을 가르는 것은 성능이 아니라 ‘신뢰’이며, 지속적인 신뢰성을 입증하지 못한 파일럿은 대개 몇 달 뒤 멈춰 선다.
• AI 도입은 소프트웨어 구매보다 인턴 채용에 가까워, 일반 정확도나 공개 벤치마크 점수만으로는 특정 워크플로에 대한 신뢰를 보장할 수 없다.
• 신뢰는 ‘느낌(vibes)’이 아니라 증거로 쌓아야 하며, 리더는 단순 점수 대신 어디서 왜 실패하는지를 담은 ‘실패 분류표’를 요구해야 한다.
• 평가는 출시를 통과시키는 관문이 아니라 정의–구축–실행–진단–개선–재평가가 반복되는 지속적 피드백 루프여야 한다.

쉽게 이해하기

스노클 AI가 연 첫 ‘Agentic in Action’ 세션은 데모가 아닌 실제 배포를 주제로 삼았다. 진행자 케빈 올리비에리와 함께 연방·사이버 보안 경력의 존 히키(August Schell 대표), 마이크 바카(CIO), 스노클 AI의 연방 응용 AI 리드 크리스 스니펜이 신뢰·신뢰성·책임이 핵심인 정부와 규제 산업에서 AI 에이전트가 무엇 때문에 무너지는지 이야기했다. 이제 조직들은 ‘AI를 쓸 것인가’가 아니라 ‘데모에서는 됐는데 왜 여섯 달 뒤엔 멈췄는가’를 묻는다는 것이 출발점이다.

스니펜은 그 차이를 ‘신뢰’로 요약한다. 데모는 유용하면 되지만 프로덕션 도구는 신뢰할 수 있어야 한다. AI를 들이는 일은 업무용 소프트웨어를 사는 것보다 인턴을 뽑는 일에 가깝다. 학점(일반 정확도)만으로 인턴을 뽑지 않듯, 애매한 문서를 읽고 정책을 해석하고 증거를 찾고 도구를 쓰며 언제 상급자에게 넘길지 판단하는 업무는 2 더하기 2 같은 결정론이 없다. 그래서 저위험 범용 작업(초안·요약·리서치)에서는 기성 LLM이 이미 유용하지만, 인수심사·사기 검토·임상 평가·접근 인가·사이버 작전처럼 결과가 중대해질수록 조직의 정책·데이터·용어·위험 허용도를 이해한 ‘특화된 판단’과 그에 맞는 특화된 평가가 필요하다.

패널들은 신뢰를 ‘느낌이 아니라 증거’로 세워야 한다고 입을 모았다. 증거란 실제 워크플로를 대표하는 예시로 시험하고, 현업 전문가(SME)가 평가 기준에 동의하며, 결과뿐 아니라 어떤 도구를 쓰고 무엇을 검색했는지 과정까지 검증하고, 실패를 로그에 묻지 않고 개선으로 되돌리는 것을 뜻한다. 공개 벤치마크는 유용하지만 세 가지 한계가 있다. 우리 환경의 특정 정책을 지키는지 알려주지 못하고, 집계 점수만 보여 줘 맞는 답을 틀린 근거로 냈는지 놓치며, 시간이 지나면 진부해진다. 존 히키는 제로 트러스트의 최대 난관이 완전하고 일관된 데이터 라벨링이며, AI가 과거엔 불가능하던 실시간 분류를 가능케 하지만 SME가 함께 진화해야 한다고 덧붙였다.

스니펜은 실전 평가를 네 단계 파이프라인으로 제시한다. ① 워크플로를 정의하고 질문·컨텍스트·정답·채점 기준을 갖춘 벤치마크를 SME와 함께 만들고, ② 인프라를 구축한 뒤, ③ 모델에 종속되지 않도록 여러 모델을 바꿔 가며 전체 실행 트레이스를 캡처하고, ④ 단순 점수가 아니라 ‘왜’ 실패했는지(컨텍스트 부족인지, 도구 오류인지, 검색 실패인지, 채점 기준이 모호했는지)를 진단·보고한다. 그래서 리더는 “86% 정확”이라는 숫자가 아니라 나머지 14%에 무엇이 들어 있는지, 그 실패가 감내할 만한지, 줄일 경로가 있는지를 담은 실패 분류표를 요구해야 한다. 마이크 바카는 불완전한 정보로도 결정을 내려 효과적으로 실행하는 편이 무결정보다 낫다며 ‘분석 마비’를 경계했고, 세라노 못지않게 ‘작게, 설명 가능한 것부터’ 시작하라고 권했다. 마지막으로 실패의 책임은 특정 담당자가 아니라 팀 전체가 지며, 시스템이 틀릴 것을 전제로 그 위험을 누가 어떻게 감당할지 고객과 미리 맞춰 두는 것이 곧 신뢰의 스캐폴딩이라는 결론으로 세션을 맺었다.

주요 인사이트

• “증거이지 느낌이 아니다(evidence, not vibes)”라는 원칙은 AI 도입 의사결정을 주관적 인상에서 검증 가능한 자료로 옮기는 핵심 프레임이다.
• 벤치마크 점수는 특정 환경의 준비도를 보장하지 못하므로, 우리 워크플로·데이터·오류 허용도에 맞춘 자체 평가가 필요하다.
• 리더가 평균 정확도 대신 ‘실패 분류표’를 요구하면, 남은 오류가 감내 가능한지와 개선 경로가 있는지를 판단할 수 있다.
• LLM만이 답은 아니다. 과제를 명확히 정의할 수 있으면 설명 가능한 전통 ML이 더 적합할 수 있고, 모델 종속을 피하는 것이 비교 평가에 유리하다.
• 평가를 일회성 출시 관문이 아니라 지속적 피드백 루프로 운영해야, 정책과 위협이 바뀌어도 시스템 신뢰가 유지된다.

자주 묻는 질문

관련 AI 소식