컨텍스트 윈도우란? 대화가 길어지면 LLM이 멍청해지는 이유

핵심 메시지

• LLM은 사람의 단기 기억처럼 한 번에 기억할 수 있는 양에 한계가 있는데, 그 한계가 바로 컨텍스트 윈도우이며 토큰 단위로 측정된다.
• 대화가 길어질수록 컨텍스트 윈도우가 가득 차 모델이 앞 내용을 잊고, 헛소리(환각)를 만들며, 속도도 느려진다.
• 컨텍스트가 커질수록 더 많은 메모리(특히 로컬 모델의 VRAM)와 연산이 필요하고, "중간 내용은 잊어버리는" 경향도 함께 나타난다.
• 주제가 크게 바뀔 때 새 대화를 시작하면 성능이 훨씬 좋아지며, 플래시 어텐션·캐시 압축 같은 최적화로 한계를 어느 정도 완화할 수 있다.

쉽게 이해하기

챗봇과 길게 대화하다 보면 스크롤을 올리기도 힘들 만큼 대화가 쌓였을 때 모델이 갑자기 이상한 말을 하거나 앞서 한 말을 잊고 느려지는 경험을 하게 된다. 영상은 그 원인을 컨텍스트 윈도우로 설명한다. LLM은 사람처럼 단기 기억을 갖는데, 대화가 길어지면 그 기억의 한계에 부딪힌다는 것이다.

컨텍스트 윈도우는 토큰 단위로 측정된다. 토큰은 AI가 단어를 세는 방식으로, 한 단어가 하나의 토큰일 수도 있고 공백이나 쉼표가 토큰이 되기도 한다. 영상에서는 LM Studio로 Gemma 3 4B 모델을 불러와 컨텍스트를 2048 토큰으로 설정하면, 처음에 알려준 책 제목을 대화가 길어진 뒤 잊어버리는 모습을 보여준다. 컨텍스트를 4096으로 늘리자 모델은 다시 그 내용을 기억해 냈다.

컨텍스트 윈도우를 채우는 것은 사용자의 말과 모델의 답변만이 아니다. 시스템 프롬프트, 붙여 넣은 PDF나 엑셀 같은 문서, 코딩 작업의 코드도 모두 토큰을 차지한다. 로컬 모델에서는 큰 컨텍스트를 쓰려면 그만큼 많은 VRAM이 필요해, 영상에서는 모델이 128K 토큰을 지원하더라도 GPU 메모리가 받쳐주지 못하면 속도가 크게 느려진다는 점을 직접 보여준다. 반면 클라우드 모델은 광고된 큰 윈도우를 그대로 쓸 수 있다.

단순히 윈도우가 크다고 모든 문제가 해결되는 것은 아니다. 영상은 "Lost in the Middle"이라는 논문을 인용해, 긴 컨텍스트에서 모델이 시작과 끝 부분의 정보는 비교적 정확하게 다루지만 중간 부분에서는 정확도가 크게 떨어지는 U자형 경향을 보인다고 설명한다. 즉 긴 대화일수록 중간 내용을 흘려버리기 쉽다.

이런 현상의 바탕에는 어텐션(특히 자기어텐션) 메커니즘이 있다. 모델은 입력된 단어마다 맥락상 얼마나 중요한지를 점수로 매기는데, 대화에 내용을 추가할 때마다 이 계산을 다시 수행한다. 대화가 길어질수록 계산량이 커지고 더 많은 GPU 자원이 필요해, 결국 환각이 늘고 속도가 느려진다.

현실적인 해법으로 영상은 주제가 크게 달라질 때 새 대화를 시작하라고 권한다. 또한 로컬에서 큰 컨텍스트를 쓰기 위한 최적화로 플래시 어텐션, KV 캐시 양자화를 통한 데이터 압축, GPU와 시스템 메모리 사이로 캐시를 옮기는 페이지드 캐시를 소개한다. 마지막으로, 긴 대화는 중간 내용을 잊기 쉬운 만큼 악의적 명령을 숨기기도 더 쉬워져 보안상 공격 표면이 넓어진다는 점도 짚는다.

주요 인사이트

• 컨텍스트 윈도우를 LLM의 단기 기억으로 이해하면, 대화가 길어질 때 모델이 왜 앞 내용을 잊고 헛소리를 하는지 직관적으로 설명된다.
• 토큰은 글자 수나 단어 수와 다르며, 같은 문장도 모델마다 토큰 수를 다르게 계산한다.
• 로컬 모델의 진짜 한계는 모델이 지원하는 최대 컨텍스트가 아니라 그것을 감당할 GPU의 VRAM 용량인 경우가 많다.
• "Lost in the Middle"의 U자형 경향은 윈도우만 키운다고 긴 문맥 활용이 자동으로 좋아지지 않음을 시사한다.
• 주제가 바뀔 때 새 대화를 여는 단순한 습관만으로도 응답 품질과 속도를 크게 개선할 수 있다.

자주 묻는 질문

관련 AI 소식