장시간 AI 에이전트 운영법: 첫 프롬프트가 아니라 '현재 상태' 파일을 갱신하는 점진적 맥락 조정

핵심 메시지

• 오픈AI 엔지니어 세 명이 100만 줄이 넘는 내부 제품을 사람이 코드를 직접 치지 않고 완성했는데, 핵심 과제는 코드 생성이 아니라 맥락 관리였다.
• 거대한 지시문 파일은 정작 해야 할 일을 밀어내고, 프로젝트 전체 설명서는 시간이 지나면 낡은 규칙의 무덤이 된다.
• 해법은 짧은 지도를 두고 실행 계획, 결정 기록, 설계 문서로 안내하는 것이다. 에이전트에게 필요한 건 모든 정보가 아니라 지금 필요한 정보를 찾는 길이다.
• 앤스로픽은 세션 사이를 잇는 진행 파일에 완료한 작업, 알려진 한계, 실패한 방법과 그 이유를 남겨 새 세션이 같은 막다른 길을 반복하지 않게 한다.
• 맥락 창을 키우거나 자료를 잔뜩 밀어 넣는 것은 사람의 판단을 대신하지 못한다. 새 근거가 판단을 바꿨다면 다음 실행이 물려받을 상태를 고쳐야 한다.

쉽게 이해하기

영상은 오픈AI 엔지니어 세 명이 손으로 했을 때의 약 10분의 1 시간에 내부 제품을 완성한 사례로 시작한다. 풀 리퀘스트가 대략 1,500건, 최종 코드베이스는 100만 줄이 넘었고 사람이 직접 타이핑한 줄은 없었다. 그런데 진짜 이야기는 규모가 아니라 그 팀이 부딪힌 문제에 있다. 한 번에 여섯 시간 넘게 돌아가는 실행에 거대한 지시문 파일을 주면 정작 해야 할 작업이 밀려나고, 프로젝트 설명서를 통째로 주면 그것이 낡은 규칙의 무덤으로 변한다는 것이다. 그래서 오픈AI는 그 거대한 설명서를 아주 짧은 지도로 바꿨다. 지도는 현재 진행 중인 실행 계획, 결정 기록, 설계 문서, 아키텍처 지도, 코드베이스 각 부분의 품질 등급을 가리켰고 제품이 바뀌는 동안 그 자료들도 함께 갱신됐다. 에이전트에게 옛 지시가 전부 경쟁하듯 들어올 필요는 없고, 다음 작업에 필요한 최신 정보를 안정적으로 찾아갈 길만 있으면 된다. 앤스로픽도 비슷한 방식에 도달해, 오래 걸리는 과학 계산 작업에서 클로드 코드가 세션 사이를 잇는 진행 파일에 현재 상태와 완료한 작업뿐 아니라 실패한 접근과 그 이유까지 적어 새 세션이 같은 막다른 길로 다시 걸어 들어가지 않게 한다.

발표자는 이 방식을 점진적 맥락 조정이라고 부른다. 시작은 분명한 요구사항으로 하되, 이후에는 다음에 무엇을 할지 결정하는 작은 지시와 결정 묶음을 계속 갱신하고, 근거가 쌓이면 그 최신 상태가 그동안의 기록보다 우선권을 갖는다. 첫 프롬프트가 중요하지 않다는 뜻은 아니어서 원하는 결과와 쓸 수 있는 자료, 해도 되는 일과 안 되는 일의 경계, 그럴듯한 첫 수를 담아야 한다. 다만 첫 프롬프트는 일이 시작되기 전에 쓰인 것이라 그 시점에 아는 것만 담을 수 있고, 진지한 프로젝트는 진행하면서 원래 가설을 흔드는 정보를 만들어낸다.

어라이즈의 사례는 이 문제를 선명하게 보여준다. 여러 실행 기록을 요약하라는 과제를 받은 에이전트가 한 번의 실행에서 모델을 27번 호출했는데 대부분이 자기 할 일 목록을 재정리하는 데 쓰였고, 원래 요청은 도구 출력과 중간 결과, 에이전트 자신의 활동 아래 묻혀버렸다. 팀은 프롬프트 맨 위에 더 강한 문장을 넣는 대신 현재 계획을 대화 창 밖으로 빼내 디스크에 저장하고, 모델을 호출할 때마다 최신 상태에서 짧은 계획 메시지를 다시 만들어 시끄러운 기록 앞에 붙였다. 기록은 여전히 남아 있지만, 유지되는 계획이 그동안 쌓인 사건 더미보다 더 큰 권한을 갖게 된 것이다.

영상은 맥락을 네 종류로 나눠 정리한다. 첫째는 일하는 방식, 자료의 위치, 승인이 필요한 행동, 지켜야 할 기준 같은 고정된 지시다. 둘째는 지금 목표가 무엇이고 어떤 결정이 살아 있으며 무엇이 미해결이고 언제 멈춰야 하는지를 담은 현재 프로젝트 상태이고, 셋째는 어떤 자료가 어디에 있는지 알려주는 지도인데 이 층을 건너뛰기 때문에 사람들이 모든 것을 그냥 붙여넣게 된다. 넷째는 역사로, 무엇이 있었고 왜 그렇게 결정했는지는 남겨야 하지만 역사가 현재 지시인 척해서는 안 된다.

발표자 자신의 경험도 이 방식을 뒷받침한다. 벤치마크를 만드는 긴 실행에서 339개 출처와 1,000개가 넘는 질문, 검증된 답 250개를 얻었지만 어느 시점부터 에이전트가 패키지 동기화 과정에서 스스로를 계속 이어가기만 하고 쓸모 있는 진전을 멈췄고, 초반에 도움이 됐던 '계속 시험하라'는 지시가 어느새 잘못된 지시가 돼 있었다. 그는 실행을 멈추고 무한 재개를 금지한 뒤, 다음 회차는 가장 가치 있는 답 50개를 골라 근거를 질문별로 교체하고 검증한 다음 멈추도록 상태를 바꿨다. 앤스로픽이 약 40만 건의 클로드 코드 세션을 분석한 결과도 이 구도와 맞아, 전형적인 세션에서 사람은 계획 결정의 약 70%를 모델은 실행 결정의 약 80%를 담당했다.

주요 인사이트

• 맥락 창 크기는 해결책이 아니다. 창이 커지면 더 많은 사건을 담을 수는 있지만, 어떤 새 사실이 프로젝트의 방향을 바꿔야 하는지는 여전히 사람이 판단해야 한다.
• 기록과 현재 지시를 분리하는 것이 핵심이다. 실패한 시도는 지우지 말고 남기되, 활성 계획과 같은 자리에 두지 않아야 에이전트가 교훈만 안고 앞으로 갈 수 있다.
• 수정이 눈앞의 결과물에서 멈추면 그 수정은 그 자리에서 끝난다. 현재 상태를 고쳐야 남은 조사, 다음 구현, 다른 에이전트에게 넘어가는 일까지 함께 바뀐다.
• 오픈AI 엔지니어들이 동시에 편하게 다룰 수 있었던 세션은 세 개에서 다섯 개였다. 그 이상은 어느 세션이 무슨 일을 하는지 잊어버려, 상태를 사람 머리 밖에 두는 장치가 필요해진다.
• 앤스로픽이 넉 달 뒤 그 실행 구조를 다시 만들면서 작업을 잘게 쪼개는 발판은 버리고 세션 간 인수인계는 남긴 점이 시사적이다. 모델이 좋아지면 발판은 사라지지만 상태 전달은 사라지지 않는다.

자주 묻는 질문

관련 AI 소식