엔터프라이즈 AI 에이전트 프로덕션 배포 5대 기둥 플레이북

핵심 메시지

• 많은 AI 프로젝트가 "어떤 모델을 쓸까"로 시작해 통제된 환경의 데모는 성공하지만, 운영에 올리면 관측·평가·거버넌스 공백 때문에 실패한다.
• 실제 운영을 위한 다섯 기둥은 평가, 관측(트레이싱), 데이터 기반, 멀티 에이전트 오케스트레이션, 거버넌스다.
• 평가는 코드를 짜기 전에 비즈니스 관점의 성공을 숫자로 정의하고, 결정론적·의미론적(LLM 심판)·행동(도구 호출) 세 층으로 자동 측정하는 살아 있는 시스템이어야 한다.
• 은행 챗봇 사례에서는 모델을 7주 차에야 선택했고, 평가·관측 체계를 먼저 세운 덕분에 운영 중 오래된 정책 문서를 참조하던 문제까지 추적해 고칠 수 있었다.

쉽게 이해하기

발표자 샌디(Sandipan Bhaumik)는 데이터브릭스의 데이터·AI 기술 리드로, 여러 고객사와 함께 AI를 현장에 적용하며 얻은 교훈을 하나의 플레이북으로 정리한다. 그는 2년 전부터 모든 고객 대화가 똑같은 패턴을 보였다고 말한다. 위에서 내려오는 압박 속에 "어떤 모델을 쓸까"로 시작해 통제된 환경에서 데모를 만들면 멋져 보여 경영진이 승인하고 운영에 올리지만, 몇 주 뒤 "AI가 대체 뭘 하는 거냐"는 질문이 쏟아지며 투자 회수는커녕 비용과 노력만 날린다는 것이다.

그는 이런 실패에서 세 가지 공백을 발견한다. 첫째 관측 공백으로, AI가 무엇을 하는지 보지 못하고 모든 결정을 추적하지 못하면 운영에서 쓸모가 없다. 둘째 평가 공백으로, 정확도·지연·근거성을 말하면서도 비즈니스에 정확히 무엇이 중요한지, 그것을 지속적으로 측정할 시스템이 무엇인지 정의하지 못했다. 셋째 거버넌스 공백으로, AI가 운영에서 실패하면 누가 책임지고 새벽 3시에 누구를 찾아가야 하는지에 대한 책임 구조가 없었다.

이 통찰에서 나온 다섯 기둥은 평가, 관측, 데이터 기반, 오케스트레이션, 거버넌스다. 평가는 코드나 모델 이야기 전에 성공을 숫자로 정의하는 일이다. 도메인 전문가와 함께 실제 상담원이 어떻게 답하는지 모아 골든 데이터셋을 만들고, AI 답변을 그에 비교하는 파이프라인을 자동화한다. 평가는 세 층으로 나뉜다. 이메일·전화번호 형식 검사 같은 결정론적 층, 근거성을 LLM 심판으로 확인하는 의미론적 층, 그리고 에이전트가 올바른 도구를 부르는지·반복 호출에 빠지지 않는지 보는 행동 층이다. 발표자는 잔액 조회 답이 맞더라도 내부적으로 DB를 세 번 중복 호출하면 운영에서 큰 비용이 된다며 행동 평가의 중요성을 강조한다.

관측은 에이전트의 모든 결정을 트레이스로 남기는 일이다. 초과 인출 수수료 면제 요청을 처리하는 은행 챗봇 사례에서, 의도 분류부터 계정 조회, 정책 문서 검색, 추론, 가드레일 검사까지 모든 단계를 시각화해 두지 않으면 고객이 분쟁을 제기했을 때 AI가 무엇을 했는지 확인할 길이 없다. 그래서 규제 당국도 이를 사실상 의무화한다. 데이터 기반은 발표자가 전체 시간의 60%를 쏟는 가장 중요한 기둥으로, 질문에 답하기 위한 "질문 데이터"와 트레이싱을 위한 "추적 데이터"로 나뉜다. 데이터는 늘 사람을 위해 만들어졌지만 에이전트는 틀린 데이터를 자신 있게 답으로 내놓기 때문에 데이터 품질과 전략이 그 어느 때보다 중요해졌다.

네 번째 기둥인 멀티 에이전트 오케스트레이션은 에이전트가 여럿이 되면 복잡도가 급증하면서 필요해진다. 중앙의 오케스트레이터가 작업을 분배·통제하는 오케스트레이터-워커 패턴, 각 에이전트가 메시지 버스의 관심 이벤트를 듣고 병렬로 자율 동작해 지연을 줄이는 코레오그래피 패턴, 신뢰도 임계값을 벗어나면 사람이 개입하는 휴먼 인 더 루프가 있다. 다섯 번째 거버넌스는 감사 추적, 개인정보 사전 검출(테스트 단계에서 47건의 PII 유출을 발견했다), 프롬프트를 코드처럼 다루는 버전 관리, 모델 교체 시 자체 평가셋으로 검증하는 모델 변경 관리로 이뤄진다. 은행 챗봇 사례는 월 2만 건 문의 중 60%인 단순 질의를 자동화하려다 8만5천 달러를 들인 POC가 실패했지만, 평가를 먼저 세우고 모델을 7주 차에 고르는 방식으로 다시 접근해 성공했고, 운영 중 임베딩이 갱신되지 않아 오래된 정책 문서를 참조하던 문제까지 트레이스로 잡아 고칠 수 있었다.

주요 인사이트

• 모델 선택부터 시작하는 관행을 뒤집어, 비즈니스 관점의 성공 정의와 평가 체계를 먼저 세우면 모델 선택은 오히려 빠르고 객관적으로 끝난다.
• 평가의 세 층 중 행동 층(도구 호출·중복 호출 탐지)은 자주 빠지지만, 운영 규모에서 비용과 안정성을 좌우하는 핵심이다.
• 트레이싱은 성능 개선뿐 아니라 규제 대응의 전제 조건이어서, 관측 체계 없이는 규제 산업에서 AI를 운영에 올릴 수 없다.
• 평가 데이터셋은 한 번 만들고 끝나는 것이 아니라 운영하며 계속 자라는 살아 있는 시스템으로, 커질수록 시스템이 좋아진다.

자주 묻는 질문

관련 AI 소식