프로덕션 AI 에이전트 아키텍처 — 관측성·평가(evals)와 에이전트 거버넌스

핵심 메시지

• 멋진 개념이던 에이전트가 실제 가치로 넘어온 전환점은 2025년 "하니스"가 좋아지면서였다는 진단.
• 초점이 모델에서 에이전트 하니스로 옮겨가면서, 그 품질과 평가(evals)가 결정적 요소가 된다.
• 평가와 관측성은 자동화가 작동하게 하는 뼈대이며, AI가 AI를 감시하고 개선하는 구조가 필요하다.
• 전통 소프트웨어와 달리 에이전트는 입력과 행동의 경우의 수가 무한해, 배포 시점의 테스트가 아니라 프로덕션에서의 지속적 검증이 필요하다.
• 기업을 위한 조언은 완벽을 노리지 말고 빠르게 만들어 쓰게 하고, 평가하며 계속 개선·튜닝하라는 것.

쉽게 이해하기

Google Cloud Tech의 진행자는 Arize의 CEO 제이슨에게 "에이전트가 언제 멋진 공학 개념을 넘어 진짜 변혁적 가치를 갖는다고 느꼈는지" 물었다. 제이슨은 ChatGPT 등장이 첫 도약이었다면, 진짜 변화는 2025년 하니스가 좋아지면서 왔다고 답했다. 코딩 문제를 대신 풀어주던 하니스가 "마법 같은 순간"을 만들었고, 그 방식이 고객용 제품에도 적용될 수 있음을 깨달았다는 것이다.

초점이 모델에서 에이전트 하니스로 옮겨가면서 품질과 평가가 왜 결정적이 되는지도 짚었다. 제이슨은 평가와 관측성을 "자동화가 작동하게 하는 뼈대"로 규정했다. AI가 AI를 지켜보며 실제로 원하는 대로 동작하는지 확인해야 자동화를 규모 있게 키울 수 있으며, 결국 "AI가 AI를 만들고 개선하는" 방향으로 간다고 봤다.

향후 2~3년 전망에서는 기업들이 기존 업무를 대체하기 위해 수십만 개의 에이전트를 띄우게 될 것이라고 내다봤다. 그러면서 그것들을 조율하고 올바르게 동작하도록 관리하는 일, 즉 스프롤이 커질 때의 거버넌스가 다음 세대 기술이 될 것이라고 했다. 그는 "에이전트가 에이전트를 다스리는" 스웜·플릿 관리가 앞으로 더 자주 보게 될 기술 영역이라고 예상했다.

왜 전통적인 CI/CD 테스트만으로는 부족한지도 설명했다. 전통 소프트웨어는 가능한 동작의 상태 공간이 크지만 비교적 한정돼 있어 배포 시점에 신뢰가 확립된다. 반면 에이전트는 취할 수 있는 행동과 마주칠 입력이 사실상 무한해, 실제 세계에서 무슨 일이 일어나느냐에 따라 좌우된다. 그래서 배포 시점이 아니라 지속적으로 모니터링하고 통제하는 다른 방식이 필요하며, 평가란 결국 "AI를 활용한 정교한 방법"이라고 표현했다.

제이슨의 다소 도발적인 의견도 나왔다. 그는 비개발자·소상공인을 겨냥한 에이전트(자막 표기상 'Open Claw')의 시장·사용자 잠재력이 엔지니어에게 최적화된 코딩 에이전트(자막 표기상 'Cloud Code')보다 클 수 있다고 봤다. 예로, 바를 운영하는 지인이 재고 주문을 에이전트에 맡기는 사례를 들며, 이런 소규모 사업 현장에서 큰 잠재력이 있다고 말했다.

주요 인사이트

• 신뢰는 배포가 아니라 프로덕션에서 쌓인다. 에이전트가 깨지는 방식은 미리 다 볼 수 없으므로, 문제를 빨리 감지하고 빠르게 고쳐 배포하는 능력이 관건이다.
• 표준화된 텔레메트리·트레이싱이 중요하다. 추적 데이터를 밖으로 꺼내는 표준이 있어야 피드백 루프가 돌고, 에이전트가 스스로를 고치는 자동화로 이어진다.
• 관측성 플랫폼의 가치는 단지 "무엇이 잘못됐다"고 알리는 데 그치지 않고, 프롬프트·도구·구조를 바꾸는 피드백 루프로 결과 자체에 영향을 주는 데 있다.
• 에이전트 스프롤이 커질수록 거버넌스가 핵심이 되며, 사람이 일일이 관리하기보다 에이전트가 에이전트를 관리하는 스웜/플릿 관리가 부상한다.
• 기업 팀을 위한 실천은 "빠르게 만들어 쓰게 하고, 평가하며 계속 개선"하는 것이다. 처음부터 완벽하게 만들려 하지 말라는 조언이 반복됐다.

자주 묻는 질문

관련 AI 소식