앤트로픽 Claude 에이전트 심층 인터뷰: 하네스·MCP·평가(eval)까지 에이전트의 구조

핵심 메시지

• 에이전트는 단순 '프롬프트 루프'에서 권한·관측·조종이 필요한 자율 실행 액터로 진화했다.
• 모델을 감싸 도구 실행·메모리 호출·사람 개입 판단을 가능하게 하는 '하네스(harness)'가 에이전트의 핵심 뼈대다.
• 긴 자율 작업에서는 오류에서 스스로 회복하고 진로를 재조정하는 자기 복구 능력이 결정적이다.
• 에이전트 평가(eval)는 가장 어려운 부분으로, 이진 통과/실패, LLM 심판형 점수, 특정 행동 발동 확인 등 여러 방식을 섞어 쓴다.

쉽게 이해하기

Peter Yang이 앤트로픽의 Claude Managed Agents 제품 리드 Jess를 초대해 '에이전트란 무엇인가'부터 실제 구축까지를 짚었다. 과거 에이전트는 질문과 응답을 반복하는 프롬프트 루프에 가까웠지만, 이제는 서드파티 시스템·내부 도구·민감 데이터에 접근하며 그만큼 권한 관리와 관측성, 조종이 필요한 존재로 바뀌었다.

핵심 구성요소인 하네스는 모델 주위를 감싸는 뼈대로, 도구를 실행하고 메모리를 불러오며 언제 사람의 개입을 요청하고 언제 계속 실행할지를 판단하게 한다. 인터뷰에서는 최고의 성능을 내려면 모델과 하네스를 함께 테스트하고 튜닝해야 한다는 점을 강조한다.

Managed Agents는 이런 하네스와 부속 인프라를 미리 만들어 제공해, 개발자가 인프라를 처음부터 짜지 않고도 며칠·몇 주가 걸릴 복잡한 작업을 위임할 수 있게 하는 것이 목표다. 데모에서는 데이터 스키마와 작업 지침을 담은 초기 프롬프트만 주면, 에이전트가 수백만 줄짜리 파일을 분석해 상품·고객 패턴과 재구매 예측 모델까지 담은 HTML 리포트를 몇 분 만에 만들어낸다.

외부 시스템 연결은 표준화된 통신과 인증 계층을 제공하는 MCP를 통해 안전하게 이뤄진다. 원시 프롬프트 루프는 모든 단계가 동기적으로 이어져 한 번의 오류에도 취약하지만, 자율 에이전트는 오류에서 스스로 복구하고 진로를 되돌리며 사용자에게 진행 상황을 계속 알린다.

평가에 대해서는 초기 프롬프트에 대한 결과 비교라는 전통적 방식에 더해, 복잡한 다단계 상호작용의 리플레이, 같은 사용자 입력을 다른 버전에 보내는 AB 테스트, 에이전트가 별도 컨텍스트에서 자기 출력을 채점하는 내장 평가 루프까지 다양하게 활용한다고 설명한다.

주요 인사이트

• 모델과 하네스는 사실상 한 몸이다. 모델 성능은 항상 특정 하네스 위에서 측정되며, 실제 배포도 하네스를 거친다.
• 모델이 강해질수록 '엄격한 구조화 출력'을 지시하기보다 원하는 결과물 자체를 목표로 주고, 에이전트가 스스로 교정하며 완성하게 하는 방향으로 옮겨간다.
• 편향을 줄이려면 에이전트의 결과를 별도 컨텍스트 창의 다른 에이전트가 평가하게 하는 것이 유리하다.
• 앤트로픽 내부에서는 코드베이스 접근, 정기 실행 요약, Slack 모니터링 등으로 에이전트를 '능동적으로 먼저 알려주는 동료'처럼 쓰며, 던져버려도 되는 일회용 에이전트를 30분 만에 만들어 자기 업무를 자동화한다.

자주 묻는 질문

관련 AI 소식