AI 에이전트 신뢰 문제 해결법: 커맨더스 인텐트·라이브러리안·배심원 워크플로우

핵심 메시지

• 예전의 'AI 환각' 문제는 이제 더 큰 '신뢰 문제'로 진화했다. 에이전트는 "모르겠다"고 하는 대신 그럴듯하게 틀린 답을 자신 있게 내놓는다.
• 핵심 원칙은 AI 에이전트를 다른 사람처럼 관리하는 것이다. 특히 프롬프트에 '왜'를 담는 커맨더스 인텐트(지휘관 의도)를 쓰면 결과가 크게 좋아진다.
• 곧바로 맡기지 말고 '스캐폴딩'하라. 회사가 어떻게 돌아가는지 정리한 앵커 자산(제품 역량 레퍼런스 등)을 먼저 만들고 구조를 정한 뒤 AI에 맡긴다.
• '라이브러리안'이 용어·기준·과거 실패 질의를 즉석에서 알려 줘, 에이전트가 회계연도나 지표 정의를 오해하지 않고 출처가 달린 신뢰할 수 있는 답을 낸다.
• 정답이 없는 문제는 '배심원-판사' 워크플로우로 푼다. 독립 분석가 여러 명이 각자 근거를 대고, 판사가 논리 품질을 평가해 합의를 이끈다.

쉽게 이해하기

발표자는 마케팅·영업 등 고투마켓(GTM) 팀이 오랫동안 코드를 거의 쓰지 않았고 도구라고는 스프레드시트와 슬라이드가 전부였다고 말한다. AI가 이 상황을 바꿔, 스스로를 '빌더'라고 여기지 않던 사람들도 이제 자신의 아이디어를 직접 구현할 수 있게 됐다. 그는 "클로드는 빌딩에서, 자전거가 이동에서 한 역할을 한다"며 제작의 문턱을 낮췄다고 표현한다.

하지만 새로운 문제가 생겼다. 몇 년 전 모두가 이야기하던 'AI 환각' 문제가 이제는 그보다 큰 '신뢰 문제'로 바뀌었다는 것이다. 클로드에게 매출 보고 같은 일을 시키면 "잘 모르겠다"고 하지 않고, 정답처럼 보이지만 틀린 답을 곧바로 내놓는다. 그래서 화려한 프롬프트 주문보다 실용적인 원칙이 필요하다.

그가 제시하는 핵심 원칙은 '의심스러우면 에이전트를 다른 사람처럼 관리하라'다. 유일하게 꼭 챙기라고 강조하는 실전 팁은 군대 교리에서 온 '커맨더스 인텐트'로, 무엇을 하라고만 시키지 말고 '왜' 그 일을 원하는지 알려 주라는 것이다. 다만 에이전트에게 "스스로 개선하라"고 시키면 오히려 마이크로매니징을 하므로, '왜'에 집중하도록 되돌려야 한다.

첫 사례로 회사 웹사이트 전면 개편을 든다. 처음부터 'YOLO'로 맡기니 플랜 모드를 써도 실패했다. 해법은 '스캐폴딩', 즉 회사가 어떻게 돌아가는지 먼저 알려 주는 것이다. 그는 제품 역량 레퍼런스 같은 앵커 자산을 관리하는데, 각 항목에는 기능 설명과 페르소나별 의미, 그리고 클로드가 여러 시스템에서 찾은 출처(인용)가 함께 담겨 있어 환각 여부를 되짚어 확인할 수 있다.

두 번째 사례는 제품에 들어 있는 '라이브러리안'이다. "1분기 파이프라인이 얼마였나"라고 물으면 에이전트는 흔히 분기를 1~3월로, 생성일 기준으로 잘못 해석한다. 대신 문서·지식 항목·과거 실패 쿼리 스키마를 가진 라이브러리안에게 먼저 물어, 회계연도가 2~4월이고 '신규 파이프라인'은 특정 단계 이상만 뜻한다는 맥락을 반영한 출처 달린 답을 낸다. 세 번째 '배심원-판사' 워크플로우는 정답이 없는 멀티터치 어트리뷰션 같은 문제에 쓰인다. 독립 분석가 여러 명이 각자 근거를 갖춘 의견을 내면, 판사가 이를 사실이 아닌 '입력'으로 보고 논리 품질을 따져 최종 결론을 만들고, 합의가 부족하면 배심원을 늘린다.

주요 인사이트

• "클로드는 빌딩에서, 자전거가 이동에서 한 역할을 한다" — 코드를 몰라도 아이디어를 직접 구현할 수 있게 만든다는 비유다.
• 에이전트에게 "스스로 개선하라"고 시키면 오히려 마이크로매니징을 한다. 사람처럼 '왜'에 집중하도록 방향을 되돌려야 한다.
• 예전엔 여러 명이 두 달 걸릴 웹사이트 개편도 구조를 먼저 잡아 주면 AI로 빠르게 가능하다. 단, 맨 처음부터 통째로 맡기면 실패한다.
• 출력에 출처(인용)를 함께 남기게 하면 사람이 환각 여부를 되짚어 확인할 수 있어 신뢰가 생긴다.
• 중요한 작업에는 서브에이전트·플랜 모드·완전한 MCP 지원·파일 편집이 되는 충분히 강력한 모델을 써야 한다. 좌석당 구독형에 억지로 끼워 넣은 저사양 AI는 피하라는 조언이다.

자주 묻는 질문

관련 AI 소식