컨텍스트 엔지니어링 2026: 요약 압축이 비용과 정확도를 함께 떨어뜨린 11개 프리셋 실험

핵심 메시지

• 11개 설정을 같은 조건에서 돌린 결과, 컨텍스트에 아무 조작도 하지 않은 '전체 히스토리 유지'가 기억률·비용·지연 세 지표에서 동시에 1위였고, 발표팀이 실제 운영하던 기본 설정은 그보다 못했다.
• 원인은 프롬프트 캐시다. 요약·압축은 컨텍스트를 새로 쓰기 때문에 캐시를 무효화하며, 캐시 토큰이 최대 50배 저렴한 API에서는 컨텍스트를 50배 넘게 줄여야 압축이 비로소 이득이 된다.
• 전체 히스토리를 유지한 설정은 토큰을 가장 많이 보내고도 가장 저렴했다. 보낸 토큰의 97%가 캐시에서 처리됐기 때문이다.
• 대화 속 세부 사실을 정확히 되짚는 비율은 전체 유지가 95%, 요약을 거친 경우가 32%였다. 80만 토큰 구간까지도 뚜렷한 사실은 유실되지 않았다.
• 다만 컨텍스트 창이 32K로 묶이는 로컬 환경에서는 '전부 유지' 자체가 불가능해지고, 모델 파라미터를 키워도 창은 커지지 않는다. 압축은 기본값이 아니라 제약을 규정한 뒤 꺼내는 수단이라는 것이 결론이다.

쉽게 이해하기

에이전트가 엉뚱한 답을 내놓을 때 대개 원인은 모델이 아니라 컨텍스트다. AI 엔지니어링 교육 과정을 운영하는 Towards AI 팀은 수강생 질문에 답하는 자사 AI 튜터를 실험대에 올려, 대화가 길어질수록 품질이 떨어지고 비용이 불어나는 문제를 어떻게 다뤄야 하는지 측정했다. 튜터 코드와 실험 결과는 모두 공개돼 있다.

발표는 먼저 컨텍스트를 줄이는 수단을 정리한다. 언어 모델 없이도 가능한 방법으로 비정상적으로 긴 도구 출력의 앞뒤만 남기고 잘라내기, 최근 몇 턴만 남기는 슬라이딩 윈도우, 특정 도구 출력의 일괄 삭제가 있다. 모델을 쓰는 방법으로는 무엇을 남길지 고르는 선택적 보존, 연속 요약, 한계에 도달하면 전체를 요약하고 초기화하는 방식, 서브에이전트용 델타 요약이 있다. 여기에 파일로 내보내는 오프로딩과 검색 증강(RAG)이 더해진다.

문제는 이 모든 기법이 프롬프트 캐시와 충돌한다는 점이다. 후속 질문마다 이전 토큰을 다시 계산하지 않도록 API가 제공하는 캐시는 이미 보낸 토큰을 훨씬 싸고 빠르게 재사용하게 해주는데, 컨텍스트를 요약하거나 변형하는 순간 그 컨텍스트는 '새 것'이 되어 캐시가 깨진다. 발표자는 이 지점을 두고 요약이 잠재적인 함정일 수 있다고 표현했다.

실험은 실제 수강생 질문에서 추린 60개 단일 턴 문답과, 앞부분에 사실을 심어 두고 잡담으로 채운 뒤 다시 물어보는 다중 턴 세션 두 과제로 구성됐다. 검색이 맞는 강의를 가져왔는지는 코드로 확인하고, 답변 내용은 LLM 심판으로 채점했다. 전체 히스토리 유지, 실제 운영 기본값, 슬라이딩 윈도우, 프롬프트 압축, 선택적 보존 등 11개 설정을 모델·프롬프트·도구·데이터를 고정한 채 비교한 결과 손대지 않은 쪽이 이겼다. 컨텍스트를 지우면 에이전트가 이미 갖고 있던 정보를 다시 검색하느라 도구 호출이 늘어 비용과 지연이 함께 올라갔기 때문이다. 같은 방식으로 측정한 지식베이스 브라우징 도구는 재현율이 똑같으면서 50% 느려 결국 이득이 없다고 판정됐다.

결론이 뒤집히는 조건도 확인됐다. 맥북에서 돌린 로컬 모델은 컨텍스트 창이 32K에 묶여 전부 유지 전략을 쓸 수 없었고, 파라미터를 7B에서 32B로 키워도 창은 그대로였다. 긴 문서를 다룰 때는 검색이 유효했지만, 의미 기반 밀집 검색은 40만 토큰 구간에서 중간에 묻힌 사실의 회상률이 0%로 떨어진 반면 키워드 방식 BM25는 매번 찾아냈다. 팀이 최종적으로 택한 구성은 저렴한 클라우드 모델, 밀집과 키워드를 섞은 하이브리드 검색, 그리고 3만 토큰까지는 전부 유지하는 메모리 정책이었다.

주요 인사이트

• 압축의 손익분기점을 정하는 것은 압축률 자체가 아니라 캐시 할인율이다. 캐시가 50배 싸다면 압축은 컨텍스트를 50배 넘게 줄여야 본전이 된다.
• 측정하지 않은 기본값은 대체로 최적이 아니었다. 팀이 '좋아 보여서' 설정해 둔 운영 기본값은 실험에서 아무 처리도 하지 않은 설정보다 낮은 점수를 받았다.
• 컨텍스트를 지우는 행위는 공짜가 아니다. 지워진 정보를 에이전트가 다시 검색하면서 도구 호출이 늘고, 절약하려던 토큰과 지연이 오히려 늘어난다.
• 긴 컨텍스트에서 의미 검색 하나만 믿는 구성은 위험하다. 40만 토큰 구간에서 밀집 검색은 실패했고 BM25는 살아남았기에 하이브리드가 선택됐다.
• 클라우드와 로컬의 갈림길은 성능보다 컨텍스트 창 제약이 만든다. 창에 대화가 들어가지 않는 순간 캐시 이점도 사라지고, 그때부터 압축은 선택이 아니라 필수가 된다.

자주 묻는 질문

관련 AI 소식