AI 에이전트 컨텍스트 관리 전략: 스마트 트렁케이션·메모리·서브에이전트로 실패 줄이기

핵심 메시지

• 에이전트가 나쁜 답을 내는 원인은 대체로 프롬프트가 아니라 컨텍스트다. 모델에 무엇을 보여줄지 전략적으로 고르는 것이 핵심이다.
• 가장 좋은 컨텍스트 전략은 '필요한 것은 기억하고 필요 없는 것은 잊게 하는' 것이다.
• 단순 잘라내기(앞부분 100자만 남기기)는 추론을 망가뜨렸고, LLM에 맡긴 요약은 무엇이 중요한지 통제할 수 없어 불안정했다.
• 현재 쓰는 방식은 앞·뒤를 남기고 중간은 잘라 메모리에 저장해 필요할 때 다시 꺼내 쓰는 '스마트 트렁케이션 + 메모리'다.
• 무거운 데이터 작업은 서브에이전트로 떼어내 메인 대화를 가볍게 유지하는 것이 큰 전환점이었다.

쉽게 이해하기

발표자는 관측성 플랫폼 위에서 약 1년간 만들어 온 AI 에이전트를 예로 들며, 2024년 중반 이후 '프롬프트 엔지니어링'에서 '컨텍스트 엔지니어링'으로 무게 중심이 옮겨간 흐름을 설명한다. 컨텍스트 엔지니어링은 토큰 한도 안에 무엇이든 욱여넣는 문제가 아니라, 모델이 볼 데이터를 전략적으로 고르는 문제라는 것이 요지다.

그들이 겪은 '악순환'은 이렇다. 에이전트가 트레이스(로그) 데이터를 분석하는데, 그 데이터가 계속 불어나 컨텍스트 한도를 넘겨 실패하고, 실패하면 데이터를 더 얹어 다시 시도하다 또 실패한다. 분석해야 할 데이터 자체가 분석을 가로막는 상황이었다.

이 고리를 벗어나기 위해 세 가지를 배웠다. 첫째, 컨텍스트를 직접 통제한다. 둘째, 컨텍스트와 메모리를 분리한다. 셋째, 무거운 작업을 다른 에이전트로 옮긴다. 초기의 순진한 잘라내기와 요약은 모두 실패했고, 앞뒤를 남기고 중간을 메모리에 저장하는 절충안이 잘 작동했다.

대화가 길어지는 문제도 다뤘다. 사용자는 대화를 새로 시작하지 않고 한 채팅에서 계속 이어가기 때문에, 실패가 뒤늦게 드러난다. 이를 잡기 위해 '긴 세션 평가(10턴을 넣고 11턴째를 시험)'를 도입해 버그를 테스트 가능하게 만들었다.

여전히 남은 숙제로는 거대한 컨텍스트, 진짜 장기 기억의 부재, 휴리스틱에 의존하는 컨텍스트 선택 등을 꼽았다. 결론은 컨텍스트·메모리·평가 세 가지가 중요하며, 에이전트는 프롬프트가 아니라 컨텍스트 때문에 실패한다는 것이다.

주요 인사이트

• 컨텍스트 관리는 엔지니어링 문제이자 제품·UX 문제다. 적절한 컨텍스트가 없으면 나쁜 답이 나오고, 나쁜 답은 아무도 그 제품을 쓰지 않게 만든다.
• 요약이 정답처럼 보이지만 실제로는 무엇이 중요한지에 대한 통제권을 LLM에 넘겨 버려 일관성이 떨어졌다. '당연해 보이는 해법'을 실측으로 검증하는 태도가 필요하다.
• 스마트 트렁케이션은 앞 100자·뒤 100자·최신 도구 호출 결과·시스템 프롬프트를 남기고 중간을 저장해, 에이전트가 필요하다고 판단하면 다시 꺼내도록 한다.
• 무거운 데이터는 서브에이전트에 두고 결과만 메인 대화로 넘기면 메인 컨텍스트를 작게 유지할 수 있다. 데이터 집약적 작업의 표준 처리 방식으로 자리 잡았다.
• 공개된 Claude Code 관련 정보에서도 유사한 잘라내기·압축 전략이 쓰인다는 점은, 이 문제에 아직 '비밀 정답'이 없고 모두가 실험 중임을 보여준다.

자주 묻는 질문

관련 AI 소식