LLM 컨텍스트 압축 기법 총정리 — 긴 프롬프트가 오히려 성능을 떨어뜨리는 이유

핵심 메시지

• 프롬프트가 길어질수록 모델은 앞과 뒤는 읽지만 가운데는 대충 훑는다. 100만 토큰 컨텍스트 창이 곧 100만 토큰만큼의 이해를 뜻하지는 않는다.
• 어텐션 연산량은 토큰 수의 제곱에 비례하고 매 턴마다 전체 프롬프트를 다시 처리한다. 대화가 길어질수록 비용이 기하급수적으로 불어난다.
• 컨텍스트 압축은 요약 하나가 아니라 여러 층으로 쌓아 올리는 기법의 묶음이다. 가장 효과가 큰 것은 토큰이 만들어지기 전에 걸러내는 소스 단계 필터링이다.
• 자동 압축이 걸릴 때까지 기다리지 말고, 컨텍스트가 40~60% 찼을 때 보존할 내용을 명시해 직접 압축하는 편이 낫다.
• 압축은 본질적으로 손실을 동반한다. 원문 그대로가 중요한 작업에서는 압축 대신 세션을 비우고 상태를 다시 불러오는 편이 안전하다.

쉽게 이해하기

코드베이스 전체나 두 시간짜리 회의록을 통째로 붙여넣고 질문했더니, 답이 더 좋아지기는커녕 질문의 요지를 놓치고 앞뒤가 어긋나는 경험은 낯설지 않다. 영상은 이 현상의 원인을 컨텍스트 창의 크기가 아니라 관리 방식에서 찾는다. 프롬프트를 키울수록 모델은 그 안의 정보를 실제로 활용하는 능력이 떨어지는데, 경고 메시지가 뜨지 않으니 사용자는 문제가 있다는 사실조차 알기 어렵다.

근거로 제시되는 것은 2023년 발표된 '로스트 인 더 미들' 연구다. 모델은 긴 프롬프트의 중간에 놓인 정보를 체계적으로 덜 활용하며, 앞부분과 끝부분에 주의가 쏠린다. 핵심 사실이 아주 긴 입력의 중간에 있을 때 추론 성능이 30% 넘게 떨어진다는 측정 결과도 소개된다. 이렇게 토큰이 쌓일수록 회상 능력과 집중력이 점진적으로 무너지는 현상을 '컨텍스트 로트'라고 부른다.

비용 문제도 만만치 않다. 어텐션 연산량은 토큰 수의 제곱에 비례하고, 새 턴마다 전체 프롬프트를 다시 처리하기 때문에 10만 토큰 대화는 1만 토큰 대화보다 턴당 대략 열 배의 비용이 든다. 여기에 MCP 도구 정의만으로 15만 토큰이 먼저 들어가거나, 도구 호출로 넘어온 회의록이 5만 토큰을 더하는 식의 숨은 부담이 겹친다. 열 턴을 넘기는 상호작용이라면 과거 내용을 계속 밀어 넣기보다 외부에 저장해 압축하는 편이 오히려 저렴해진다.

영상은 가벼운 것부터 무거운 것 순으로 11가지 기법을 정리한다. 최근 토큰만 남기는 슬라이딩 윈도, 도구 출력과 로그를 컨텍스트에 들어오기 전에 걸러내는 소스 단계 필터링, 공백과 중복을 제거하는 기계적 압축, 성공으로 끝난 도구 호출 사슬을 한 줄 사실로 접는 방식, 맵리듀스 방식의 의미 요약, 문맥을 덧붙여 임베딩하는 검색 기반 압축, 지식 그래프, 학습 기반 프롬프트 압축, 다층 메모리, 그리고 과거 요약이 아니라 전략 플레이북을 진화시키는 방식까지 이어진다. 이 중 저자가 가장 효과가 크다고 꼽는 것은 두 번째, 즉 토큰이 만들어지기 전에 잘라내는 소스 단계 필터링이다.

실행 순서도 구체적이다. 먼저 훅으로 반복적인 도구 출력을 걸러 애초에 부풀지 않게 하고, 도구 정의는 매 턴 싣지 말고 필요할 때 불러오며, 캐시된 이력에는 기계적 압축을 돌린다. 이어 긴 도구 사슬을 한 줄로 접고, 사용자 프로필과 프로젝트 결정 같은 구조화된 기억은 디스크로 빼낸다. 그다음에야 40% 안팎에서 보존 지침을 붙인 수동 요약을 돌리고, 큰 말뭉치에는 검색을 붙이며, 자동 압축과 강제 절단은 최후의 수단으로 남겨두라는 것이다.

주요 인사이트

• 컨텍스트 창의 크기는 상한선일 뿐 성능 보증서가 아니다. 90만 토큰 프롬프트가 10만 토큰 프롬프트보다 아홉 배 좋기는커녕 더 나쁠 때가 많다.
• 가장 값싸고 효과 큰 최적화는 모델 앞단에 있다. 테스트 실행이 뿜어낸 4만 토큰 로그에서 실패한 줄과 스택 앞부분만 남기면 판단 품질은 그대로면서 토큰은 90% 줄어든다.
• 검색 품질 개선은 층을 쌓을수록 효과가 커진다. 문맥을 덧붙인 임베딩, 키워드 검색 결합, 리랭커까지 더하면 상위 20개 검색 실패율이 크게 떨어진다는 수치가 제시된다.
• 시간 정보를 가진 지식 그래프는 오래 도는 에이전트의 고질병인 컨텍스트 오염을 직접 겨냥한다. 사실마다 유효 구간을 두면 낡은 정보가 새 정보로 무효화된다.
• 서브 에이전트 분리와 모델 라우팅도 압축의 한 형태다. 저장소를 훑는 일에 비싼 추론 모델을 쓰지 않으면 비용과 컨텍스트 오염을 동시에 줄일 수 있다.

자주 묻는 질문

관련 AI 소식