컨텍스트 윈도우란? 토큰·셀프어텐션·긴 문맥의 한계까지

핵심 메시지

• 컨텍스트 윈도우는 언어모델의 ‘작업 기억’으로, 앞선 대화를 잊지 않고 이어갈 수 있는 범위를 결정한다.
• 윈도우 크기는 글자가 아니라 토큰 단위로 측정되며, 토큰은 글자·단어 일부·단어·짧은 구가 될 수 있다.
• 대화가 윈도우보다 길어지면 앞부분이 사라지고, 모델은 추측에 기대 환각을 일으킬 수 있다.
• 윈도우에는 사용자 입력과 모델 응답뿐 아니라 시스템 프롬프트, 첨부 문서·코드, RAG로 가져온 외부 정보까지 함께 들어간다.
• 윈도우가 커지면 연산이 토큰 수의 제곱으로 늘고, 중간 정보 누락 같은 성능 저하와 탈옥 등 보안 위험도 커진다.

쉽게 이해하기

컨텍스트 윈도우는 언어모델이 한 대화에서 얼마나 멀리까지 기억하며 대화를 이어갈 수 있는지를 정하는 ‘작업 기억’이다. 전체 대화가 윈도우 안에 들어오면 모델은 내 이전 질문과 자신의 이전 답변을 모두 참고해 새 답을 만든다. 하지만 대화가 윈도우보다 길어지면 앞부분은 더 이상 보이지 않는다.

앞부분이 사라지면 모델은 윈도우 안에 남은 내용으로 이전 맥락을 ‘추측’할 수밖에 없고, 이 추측이 빗나가면 심한 환각으로 이어진다. 그래서 컨텍스트 윈도우의 작동 방식을 이해하는 일이 LLM을 잘 쓰는 핵심이 된다.

윈도우 크기는 토큰으로 측정된다. 사람에게 언어의 최소 단위는 글자이지만, AI에게는 토큰이다. 토큰은 한 글자일 수도, 단어의 일부일 수도, 단어 하나나 짧은 구일 수도 있다. 영어에서는 보통 한 단어가 약 1.5토큰으로, 100단어면 대략 150토큰이 된다.

트랜스포머는 셀프 어텐션으로 입력의 각 토큰이 다른 토큰들과 얼마나 관련 있는지 가중치를 계산한다. 윈도우 크기는 모델이 한 번에 주의를 기울일 수 있는 최대 토큰 수를 정한다. 초기 모델은 약 2,000토큰이었지만, IBM Granite 3는 12만 8천 토큰에 이르고 더 큰 모델도 있다.

윈도우에는 시스템 프롬프트(보통 사용자에게 숨겨짐), 첨부 문서·소스코드, RAG로 끌어온 외부 정보까지 들어차 금세 가득 찬다. 게다가 윈도우가 커지면 연산량이 토큰 수의 제곱으로 늘고, 중요한 정보가 입력 중간에 있으면 성능이 떨어진다는 2023년 연구도 있다. 또한 긴 입력은 공격 표면을 넓혀 탈옥 같은 보안 위험을 키운다.

주요 인사이트

• 컨텍스트 윈도우는 모델의 ‘기억력’ 자체가 아니라 한 번에 주의를 기울일 수 있는 토큰의 한계로 이해해야 한다.
• 윈도우는 사용자 대화 외에도 시스템 프롬프트·첨부 문서·RAG 정보로 채워지므로, 보이는 대화보다 훨씬 빨리 가득 찬다.
• 연산량이 토큰 수의 제곱으로 증가하기 때문에, 입력을 두 배로 늘리면 처리에 약 네 배의 연산이 필요하다.
• 관련 정보를 입력의 앞이나 뒤에 배치할 때 성능이 좋고 중간에 묻히면 떨어지므로, 긴 문맥이라도 무작정 채우는 것이 능사는 아니다.

자주 묻는 질문

관련 AI 소식