AI 에이전트 프로덕션 실패 원인과 90일 탈출법: PoC 감옥과 거버넌스 애즈 코드

핵심 메시지

• 에이전트가 운영에 오르지 못하는 실패는 모델이나 프롬프트 탓이 아니라, 소유권·거버넌스·조직 문화의 문제인 경우가 대부분이다.
• 'PoC(개념검증)'라는 딱지는 소유권·컴플라이언스 같은 불편한 질문을 회피하는 방패가 되어, 임시 실험이 영구히 방치되는 악순환을 만든다.
• PoC를 시작하기 '전에' 프로덕션으로 가는 경로와 책임 소유자가 정의돼 있어야 하며, 그렇지 않으면 임시가 곧 영구가 된다.
• 핵심은 화려한 에이전트가 아니라 '포장도로(paved road)'를 먼저 까는 것이다. 컴플라이언스한 길을 가장 쉬운 길로 만들어야 사람들이 그 길을 따른다.
• 거버넌스는 회의·PDF·구전 지식이 아니라 파이프라인 안에서 실행되는 코드(governance as code)로 내재화해야 하고, 승인은 한 번, 재사용은 자동이어야 한다.

쉽게 이해하기

마이크로소프트 MVP이자 아키텍트인 루이제 프레제는 NDC 코펜하겐 강연에서, 에이전틱 AI가 '10대의 성(sex)' 같다는 댄 애리얼리의 유명한 비유로 문을 연다. 모두가 이야기하지만 아무도 제대로 하는 법을 모르고, 다들 남들은 하고 있다고 믿기에 자신도 하고 있다고 주장한다는 것이다. 실제로 많은 조직의 'AI 사용사례'는 스프레드시트와 전략 슬라이드로 가득할 뿐, 5~25년 전에도 할 수 있었던 규칙 기반 자동화에 지나지 않으며 진짜 전환은 빠져 있다.

그는 대부분 조직의 AI 지형을 '지연·혼란·모호한 소유권의 안개', '버려진 PoC들의 무덤', '벤더 약속의 시장', '합성 데이터의 호수', 그리고 '영구 폐쇄된 프로덕션으로 가는 다리'가 있는 지도로 풍자한다. 혁신 버블(R&D 태스크포스)은 멋진 아이디어를 쏟아내지만 결코 운영에 오르지 못한다. 프레제는 이를 '슈뢰딩거의 AI'라 부른다. 실제 데이터와 실제 사용자, 레거시 시스템에 연결해 운영 환경에 올리기 전까지는 그 에이전트가 살았는지 죽었는지 알 수 없는 'AI 좀비'라는 것이다.

그는 실패의 원인을 네 가지 렌즈로 나눈다. 기술적 렌즈(실제 데이터와 접촉해도 살아남는가, 반복 가능한 배포·모니터링·롤백·비용 통제가 처음부터 내장돼 있는가), 조직적 렌즈(고장 나면 누가 책임지는가—위원회가 아니라 심장이 뛰는 한 사람이어야 한다), 문화적 렌즈(배포 빈도가 아니라 데모와 박수를 보상하는 문화인가), 그리고 데이터의 현실이다. 조직 데이터의 약 11%만이 업무상 핵심이고, 5분의 1~4분의 1은 불필요·구식·사소한 쓰레기이며, 3분의 2가량은 무엇인지도 모르는 '다크 데이터'라는 빙산 비유가 인상적이다.

해법으로 그는 22차례 실제 고객과 진행했다는 '90일 프로그램'을 제시한다. 첫 30일은 현실 직시로, 지금 프로세스가 실제로 어떻게 돌아가는지(그림자 IT, 데이터 품질 문제 포함)를 있는 그대로 문서화하고 프로덕션을 막는 요인이 기술·조직·정치·규제 중 무엇인지 짚는다. 다음 30일은 약속과 책임으로, 반드시 운영에 올릴 단 하나의 이니셔티브를 고르고(멋질 필요 없이 'Hello World'라도 좋다) 책임 소유자를 지정하며 이 사례에 필요한 최소 거버넌스에만 합의한다. 마지막 30일은 감독하의 프로덕션으로, 실제 시스템·사용자에 배포하고 비용·행동·실패·에스컬레이션을 실시간 대시보드로 관찰한다. 90일 안에 아무것도 못 올리면 그 조직이 소유와 책임을 감당할 의지가 없다는 뜻이며, 그 또한 정당한 결과다.

프레제는 좋은 관행이 '선택 사항이고 슬라이드에 살며 압박 속에 무시되기에' 늘 실패한다고 지적한다. 사람은 표준이 아니라 '가장 쉬운 길'을 따르므로, 컴플라이언스하고 안전한 길을 가장 쉬운 길로 만들어야 한다. 이를 위해 조달 정책마저 우회할 권한을 위임받은 소수 교차기능 '타이거 팀'과 강력한 임원 스폰서가 필요하다. 또한 에이전트를 '거버넌스의 1급 시민'으로 다뤄 자체 신원(누가 레코드를 바꿨는지 사람과 에이전트를 구분), 명명된 책임자, 감사 로그, 킬 스위치를 갖추고, 좁은 직무기술서를 가진 신입 직원처럼 취급하라고 조언한다.

주요 인사이트

• PoC 자체가 나쁜 게 아니라, 프로덕션으로 가는 경로와 소유자가 'PoC 이전에' 정의되지 않은 것이 문제다. 그 경로가 없으면 임시 해법이 사고처럼 운영에 스며들어 영구히 리스크로 남는다.
• 가장 먼저 깔아야 할 것은 멋진 에이전트가 아니라 '포장도로'다. 사전 승인된 환경·데이터 접근 패턴·보안 통제·배포 파이프라인을 만들어 반복 승인을 없애야 일회성 솔루션의 확장 실패를 막는다.
• 거버넌스는 '승인해도 되나'에서 '설계상 규정을 준수하는가(comply by design)'로 사고를 전환해야 한다. 규칙이 실행 가능해지면 승인은 한 번, 증거는 파이프라인이 자동 생성한다.
• 성공하는 첫 에이전트는 하나의 좁은 과업을 소유한다. 예컨대 '들어오는 케이스를 분류·라우팅하되 해결은 하지 않는' 식으로 경계가 명확하고 결과가 측정 가능해야 한다.
• 'AI로 뭔가 해보자'는 잘못된 질문이다. 조직의 실제 통증(반복되는 실수, 과도한 노력, 이탈하는 고객)을 먼저 찾고, AI·에이전트가 해법의 일부일 때만 투입하는 것이 옳다.

자주 묻는 질문

관련 AI 소식