LLM 에이전트 신뢰성의 열쇠 '하네스 엔지니어링': 상태 머신으로 통제하기

핵심 메시지

• 에이전트의 신뢰성은 프롬프트를 더 강하게 쓰는 문제가 아니라 '제어(control)'의 문제다.
• 모델은 '연기자', 하네스(harness)는 '연출가'다. 지금 몇 번째 단계인지 기억하는 일은 모델이 아니라 하네스가 맡는다.
• 수업을 intro·teach·check·grade·advance·wrap의 작은 상태 머신으로 나누고, 각 단계마다 모델에 좁은 계약(할 일 하나)만 준다.
• 하네스로 감싸면 Opus 4.7 같은 큰 모델 대신 Haiku 4.5 같은 작은 모델로도 성능을 유지하며 비용·시간·지연을 줄일 수 있다.
• 코딩 에이전트, 운영 런북, 온보딩 플로 등 신뢰성이 '동전 던지기' 수준인 곳이라면 제어 흐름을 모델 밖으로 빼내야 한다.

쉽게 이해하기

발표자 오넬라와 조엘은 처음부터 끝까지 한 차례 수업을 안정적으로 진행하는 실시간 AI 음성 튜터 'Ace'를 만들었다. 이들이 강조한 핵심은 'LLM이 주도권을 쥐지 않는다'는 것이다. 여러 단계로 이뤄진 에이전트를 배포해 본 사람이라면, 데모는 잘 되다가 실제 사용자가 들어오면 에이전트가 중간에 멋대로 끝내거나 단계를 건너뛰거나 무한 반복에 빠지는 순간을 알 것이라고 말한다.

많은 사람이 첫 대응으로 '프롬프트를 더 세게 쓰기'를 택하지만, 발표자들은 신뢰성은 애초에 프롬프트 문제가 아니라 통제의 문제라고 지적한다. 모델은 대사 한 줄을 훌륭하게 전달하는 '연기자'이지만 지금이 6단계 중 3단계인지 기억하는 데는 서툰 존재이므로, 그 기억을 아예 모델에게 맡기지 않는다는 것이다.

그래서 수업을 intro(도입)·teach(설명)·check(확인)·grade(채점)·advance(진행)·wrap(마무리)으로 이어지는 작은 상태 머신으로 설계한다. 각 단계는 모델에 '이 한 가지만 하고 결과를 돌려달라'는 좁은 계약을 보낸다. 돌아온 결과를 검증하고, 상태를 다음으로 넘기며, 그다음에 무엇을 할지 정하는 것은 모두 하네스의 몫이다. 지금 어느 단계인지는 모델이 절대 결정하지 않는다.

이 방식 덕분에 무거운 모델에 모든 판단을 맡기는 대신, 추론 능력이 상대적으로 작은 Haiku 4.5 같은 모델을 쓰고도 기대한 수준의 성능을 낼 수 있었다고 한다. 실제 수업 로그에는 어떤 내용을 말할지 지시하는 섹션 하네스, 화이트보드에 그리는 하네스, 큐를 비우는 하네스, 수업을 끝내는 단계 등 다양한 하네스가 작동하는 모습이 드러난다.

발표자들은 이 원리가 음성 모델뿐 아니라 코딩 에이전트, 운영 런북, 온보딩 플로 등 거의 모든 곳에 적용된다고 말한다. 에이전트의 신뢰성이 동전 던지기 수준이라면 제어 흐름을 모델에서 떼어내, 모델이 내려야 할 결정을 줄이고 대신 그 결정을 모델 바깥에 구축하라는 것이다. 결론은 '모델이 말은 하게 하되, 운전은 맡기지 말라'로 요약된다.

주요 인사이트

• 신뢰성 문제를 프롬프트 튜닝이 아니라 상태 머신 기반의 제어 문제로 재정의한다.
• 제어 흐름을 모델 밖 하네스로 옮기면, 작은 모델로도 비용·지연을 줄이며 안정성을 확보할 수 있다.
• 모델은 '제안'하고 최종 결정은 하네스가 내린다는 역할 분리가 설계의 핵심이다.
• 적용 판단 기준은 단순하다. 에이전트 신뢰성이 '동전 던지기'라면 통제를 모델 밖으로 빼야 한다.

자주 묻는 질문

관련 AI 소식