앤트로픽 장기 과제 AI 에이전트 설계 원칙: 두뇌와 손 분리, 검증자 루프, 메모리 정리, 조직 단위 하니스

핵심 메시지

• 모델이 혼자 버틸 수 있는 시간이 길어지면서 제품의 형태 자체가 채팅에서 비동기 에이전트로 옮겨가고 있다
• 판단을 맡는 하니스와 실제 작업을 수행하는 컨테이너를 떼어놓으면, 컨테이너가 죽어도 작업 기록이 남고 자격증명도 노출되지 않는다
• 작업한 문맥이 그대로 채점까지 맡으면 자기합리화가 생기므로, 검증은 별도 문맥의 에이전트에게 맡기는 편이 낫다
• 모델은 스스로 메모리를 남기는 능력이 세대마다 좋아지고 있지만, 잘못 적힌 기억을 나중에 손보는 별도 과정이 필요하다
• 개인용 도구였던 에이전트가 조직 전체가 공유하는 하니스로 넘어가면서 신입과 고참의 출발선이 평평해진다

쉽게 이해하기

발표자는 모델을 광원에, 제품을 그 빛이 통과하는 창문에 비유하면서 이야기를 시작한다. 모델이 사람 개입 없이 자율적으로 일할 수 있는 시간이 길어질수록 어울리는 창문의 모양도 달라진다는 뜻이다. 2024년 무렵의 모델은 자율 작업이 10~20분 수준이라 자동완성이나 채팅처럼 사람이 계속 옆에 붙어 방향을 잡아주는 형태만 성립했다.

지난 1년 사이에는 한 시간 정도를 혼자 일하는 동기식 코딩 에이전트가 자리를 잡았고, 그보다 더 긴 시간을 버티는 모델이 나오면서 비로소 비동기 방식이 쓸 만해졌다. 발표자는 모델이 한 시간밖에 못 버티던 시절에는 비동기 경험이 오히려 나빴다고 회고한다. 에이전트가 잠깐 나갔다가 금방 막혀서 돌아오는 일이 반복됐기 때문이다. API의 모양도 이 흐름을 따라 단순한 요청·응답에서, 하니스를 제공하는 형태를 거쳐, 배포 인프라까지 함께 묶은 관리형 에이전트로 넘어왔다.

첫 번째 설계 원칙은 두뇌와 손을 떼어놓는 것이다. 처음에는 하니스를 작업용 컨테이너 안에 함께 넣었는데, 컨테이너나 하니스가 죽으면 진행하던 작업이 통째로 사라지는 문제가 있었다. 그래서 하니스는 상태를 갖지 않는 프로세스로 만들고, 작업 기록은 덧붙이기만 가능한 이벤트 로그(세션)에 남기며, 실제 실행은 별도 컨테이너 여러 개에 맡기는 구조로 바꿨다. 자격증명은 작업 컨테이너가 아니라 별도의 금고에 두는데, 모델이 강력해질수록 비밀정보를 쥔 채로 열 시간씩 방치되는 상황이 위험해지기 때문이다.

두 번째는 채점을 따로 맡기는 것이다. 일을 수행한 문맥에 대고 "네 결과물을 평가해봐"라고 하면 엉뚱한 확신이나 지어낸 근거가 섞이기 쉽다. 대신 목표나 채점 기준을 쥔 검증 전용 에이전트를 두고, 작업 에이전트와 검증 에이전트가 주고받는 루프를 검증이 끝날 때까지 돌린다. 발표자는 오픈AI가 공개한 모델 학습 관련 벤치마크에 이 방식을 적용해, 사람이 일일이 방향을 잡는 대신 환경 자체에 신호를 심어두자 최신 모델이 스스로 교정하며 좋은 결과를 냈다고 소개한다.

세 번째는 메모리를 두 단계로 나누는 것이다. 사람의 뇌가 낮에는 짧은 기억을 남기고 잠든 사이에 중요한 것만 장기 기억으로 옮기듯, 모델도 작업 중에 남긴 메모를 나중에 별도 과정에서 다시 다듬게 한다는 구상이다. 발표자가 포켓몬 게임으로 실험한 결과, 작업 중에 잘못 적힌 기억 때문에 모델이 자기 위치를 착각해 같은 함정에 반복해서 빠졌지만, 사후 정리 과정을 거치자 그 오류가 교정되며 다음 단계로 넘어갔다. 마지막 네 번째 흐름은 조직 단위 하니스로, 개인 장비에 맞춰 길들인 도구가 아니라 구성원 모두가 같이 쓰고 조직 전체의 맥락에 접근하는 형태를 가리킨다.

주요 인사이트

• 덧붙이기만 가능한 세션 로그는 단순한 백업이 아니라 문맥 관리 방식 자체를 바꾼다. 압축 과정에서 버린 내용도 원본이 남아 있어 모델이 필요할 때 옛 기록을 다시 꺼내볼 수 있다.
• 모델 세대가 올라가며 가장 크게 벌어지는 능력은 사실을 적는 능력이 아니라 추리는 능력이다. 성능이 좋은 모델은 개별 사실 대신 다음 작업에도 통할 만한 형태로 정리해 남긴다.
• 메모리 저장소로 파일 시스템이든 데이터베이스든 상관없지만, 사람이 미리 "이런 종류의 기억을 저장하라"는 틀을 짜주면 오히려 성능이 떨어진다. 모델이 자기 기억 구조를 스스로 관리하게 두는 편이 낫다는 것이다.
• 긴 시간 일하는 에이전트는 모델 성능만으로 완성되지 않는다. 메모리, 프롬프트 주입에 대한 방어, 아키텍처, 인프라가 함께 갖춰져야 한다는 점이 질의응답에서 강조됐다.
• 조직이 공유하는 하니스는 남의 작업을 미리 확인하거나 중복 발견을 걸러내는 일까지 맡을 수 있고, 새로 합류한 사람이 몇 주씩 환경을 맞추던 과정을 건너뛰게 해준다.

자주 묻는 질문

관련 AI 소식