앤트로픽이 말하는 효과적인 AI 에이전트 구축법과 워크플로우 차이

핵심 메시지

• 워크플로우는 코드로 미리 짜인 고정된 단계 위를 흐르고, 에이전트는 LLM이 스스로 몇 번 반복할지 정하며 해결될 때까지 루프를 도는 자율적 구조다.
• 모델의 입장에서 생각하라. 아무리 정교한 프롬프트를 써도 도구 설명이 부실하면(매개변수 이름이 A, B 식이면) 모델은 그 도구를 제대로 쓰지 못한다.
• ‘파리를 잡는 데 바주카포를 쓰지 마라.’ 더 단순한 시스템으로 충분한 문제에 무리하게 에이전트를 들이밀지 말고 가능한 한 단순하게 시작하라.
• 코딩과 검색은 에이전트가 빛나는 대표 영역이다. 특히 코딩은 테스트로 부분적으로 검증 가능해 루프를 돌 때마다 피드백 신호를 얻는다.
• 소비자용 에이전트는 현재 과대평가됐고, 작은 시간이라도 절약해 100배로 확장 가능한 작업은 과소평가됐다.

쉽게 이해하기

이 영상은 앤트로픽의 알렉스(클로드 릴레이션스), 에릭(리서치 팀), 배리(어플라이드 AI 팀)가 ‘효과적인 에이전트 만들기(Building Effective Agents)’ 블로그를 두고 나눈 대담이다. 모든 것을 ‘에이전트’라 부르는 혼란 속에서 명확한 정의를 세우려는 시도가 출발점이다.

이들은 워크플로우와 에이전트를 구분한다. 워크플로우는 프롬프트 A의 출력을 B로, 다시 C로 넘기는 식의 고정된 단계로, 무슨 일이 일어날지 미리 알 수 있다. 반면 에이전트는 모델에게 도구를 주고 개방형 질문을 던진 뒤, 답을 찾을 때까지 웹 검색이나 코드 실행을 스스로 반복하게 하는 더 자율적인 구조다.

실전 교훈으로 ‘모델의 입장에서 생각하기’가 강조된다. 배리는 컴퓨터 사용 벤치마크를 분석하며 눈을 감았다 잠깐 화면을 보는 식으로 모델의 처지를 흉내 냈더니 모델의 선택이 이해되기 시작했다고 말한다. 에릭은 사람들이 멋진 프롬프트는 공들이면서 도구 설명은 문서도 없이 매개변수를 A, B로 두는 실수를 자주 한다고 지적한다. 도구 설명도 결국 같은 프롬프트의 일부다.

에이전트의 ‘스위트 스폿’은 가치 있고 복잡하지만 오류 비용과 오류 감시 비용이 비교적 낮은 작업이다. 코딩과 검색이 대표적이다. 코딩 에이전트는 테스트로 검증 가능해 루프를 돌 때마다 통과/실패라는 신호를 얻고 정답으로 수렴할 수 있다. 다만 현실에는 완벽한 단위 테스트가 드물어, 검증이 다음 한계 요인이 될 것이라고 본다.

과대·과소평가 논의에서 에릭은 휴가 예약 같은 소비자용 에이전트는 선호를 일일이 명세하는 게 직접 하는 것만큼 힘들고 검증 비용도 커서 과대평가됐다고 본다. 반대로 1분짜리라도 자동화하면 100배 더 자주 할 수 있게 되는 작은 시간 절약은 과소평가됐다. 미래에는 기업의 반복 업무 자동화와 멀티 에이전트(클로드들이 ‘웨어울프’ 게임을 하는 실험)가 주목된다.

주요 인사이트

• 에이전트의 정의는 ‘LLM이 스스로 운명을 정하게 두는 것’이다. 몇 단계가 걸릴지 미리 알 수 없는, 해결될 때까지 도는 작업이 에이전트다.
• 피드백 메커니즘이 없으면 에이전트는 신호 없이 잡음만 쌓아 정답으로 수렴할 이유가 없다. 반복할 때마다 신호를 주입하는 구조가 핵심이다.
• 검증이 코딩 에이전트의 다음 병목이다. 정말 중요한 부분에 테스트를 더해 모델이 사람에게 돌아가기 전에 스스로 옳고 그름을 판단하게 해야 한다.
• 가장 좋은 조언은 ‘결과를 측정할 방법을 확보하라’다. 피드백 없이 진공 속에서 만들면 더 단순한 방법이 더 나았을 수 있다는 사실조차 모른다.
• 모델이 똑똑해질수록 해자가 사라진다고 느낀다면 잘못된 것을 만들고 있는 것이다. 모델이 발전할수록 제품이 더 좋아지도록 설계해야 한다.

자주 묻는 질문

관련 AI 소식