AI 에이전트 컨텍스트 창 관리법: 계획·서브에이전트·스킬·압축으로 망각 줄이는 법

핵심 메시지

• 에이전트가 갑자기 앞말을 뒤집는 것은 모델이 나빠져서가 아니라 컨텍스트 창이 차서 요약이 일어난 결과다.
• 계획을 파일로 먼저 써 두면 그 계획은 모델 밖에 남아 요약과 서브에이전트 호출을 견디는 지속 상태가 된다.
• 서브에이전트는 잡음이 많은 조사를 별도 창에서 처리하고 결론만 돌려주지만, 그만큼 추가 토큰 비용이 든다.
• 스킬은 이름과 설명만 미리 노출하고 본문은 필요할 때 읽어 들여, 컨텍스트 창을 지식 색인처럼 쓰게 만든다.
• 압축은 최후의 안전장치가 아니라 큰 작업 직전에 스스로 부르는 공격적 도구로 쓰는 편이 낫다.

쉽게 이해하기

영상은 익숙한 장면에서 출발한다. 20분 전만 해도 코드베이스를 이해하고 규칙을 지키던 에이전트가, 어느 순간 지웠던 파일을 다시 불러오고 앞서 한 말과 모순되는 코드를 내놓는다. 화자는 사용자가 뭔가를 잘못한 것도, 모델이 갑자기 멍청해진 것도 아니며 그저 자리가 떨어졌을 뿐이라고 말한다.

에이전트는 컨텍스트 창 안에서 살고, 그 창에는 주고받은 메시지와 읽은 파일, 실행한 명령과 작성한 코드가 모두 쌓인다. 화자는 표준 창이 20만 토큰 규모이고 상위 요금제에서는 100만 토큰까지 쓸 수 있지만, 중간 크기 파일 하나가 2천 토큰쯤이라 파일 열 개만 읽어도 수만 토큰이 눈 깜짝할 새 사라진다고 설명한다. 창이 약 83퍼센트에 이르면 자동 압축이 걸려 대화를 요약하는데, 요약은 쓸 만해도 세부가 흘러내리고 지시가 뭉개진다. 에이전트가 자기 말을 뒤집기 시작하는 지점이 바로 여기이며, 그래서 질문은 망각을 없애는 방법이 아니라 그 주위를 어떻게 설계하느냐가 된다.

첫 장치는 계획이다. 목표만 던지고 방치하면 몇 차례 오가는 사이 방향을 잃지만, 성공 조건이 붙은 단계별 계획을 먼저 문서로 쓰게 하면 그 계획은 모델 바깥에 남아 요약과 서브에이전트 호출, 창이 가득 차는 상황을 모두 견딘다. 두 번째는 서브에이전트다. 버그 하나를 찾겠다고 본 세션이 파일 40개를 읽으면 대부분 무관한 내용으로 창이 오염되지만, 서브에이전트에게 '파일과 줄 번호만 돌려 달라'고 맡기면 본 세션은 잡음을 보지 않고 답만 받는다. 화자는 앤트로픽이 계획·생성·평가를 각각 다른 창으로 나눈 내부 구성을 사례로 들면서도, 서브 창의 토큰을 따로 지불해야 하므로 가벼운 질문에는 과하다고 덧붙인다.

세 번째 스킬은 책장에 꽂힌 참고서에 비유된다. 예전에는 도메인 지식을 시스템 프롬프트에 몽땅 넣어 창을 태우거나, 아예 빼고 에이전트가 추측하게 두는 두 가지 선택뿐이었다. 스킬은 이름과 설명만 항상 노출해 수십 토큰만 쓰고, 실제로 필요한 순간에만 수천 토큰짜리 본문을 읽어 들인다. 화자는 이 구조가 컨텍스트 창을 백과사전이 아니라 검색 색인처럼 바꾼다고 표현한다.

마지막은 압축 자체를 다루는 법이다. 자동 압축을 기다리는 대신 큰 작업 직전에 직접 호출하고, 무엇을 남길지 초점을 지정하면 요약이 일반적인 요약에 그치지 않는다. 화자는 이를 보스전 앞에서 저장하는 게임에 비유하며, 네 장치가 따로 노는 요령이 아니라 하나의 반복 루프라고 정리한다. 다만 이 구조가 모델을 똑똑하게 만들지는 않으며, 장치가 늘수록 디버깅할 것도 늘고, 한 줄짜리 수정에는 계획도 서브에이전트도 필요 없다는 단서를 분명히 붙인다.

주요 인사이트

• 망각을 모델 결함이 아니라 용량 문제로 재정의하면 대응 방식이 달라진다. 더 나은 모델을 기다리는 대신 계획을 파일로 남기고 창을 관리하는 쪽으로 문제가 옮겨간다.
• 계획 문서의 가치는 생산성이 아니라 지속성에 있다. 모델 밖에 저장된 상태만이 요약과 컨텍스트 초기화를 견디기 때문이다.
• 서브에이전트는 공짜가 아니다. 별도 창의 토큰을 지불하는 대가로 잡음을 걸러내는 거래이므로, 읽어야 할 양이 많고 필요한 답은 짧을 때 이득이 가장 크다.
• 스킬의 핵심은 기능 확장이 아니라 지불 시점의 이동이다. 항상 30토큰만 내고, 실제로 쓰는 순간에만 본문 비용을 낸다.
• 자동 압축을 재난 대비책으로만 보면 항상 최악의 시점에 요약을 당하게 된다. 작업 단계 사이에서 초점을 지정해 미리 압축하는 편이 통제권을 남긴다.

자주 묻는 질문

관련 AI 소식