딥시크 V4가 100만 토큰 문맥을 실용화한 원리: 압축 희소 어텐션과 KV 캐시 절감

핵심 메시지

• 긴 문맥의 비용은 연산(제곱으로 늘어나는 어텐션)과 메모리(계속 쌓이는 KV 캐시) 두 가지이며, 100만 토큰에서는 KV 캐시 자체가 병목이 된다.
• V4는 오래된 문맥을 학습된 '브릭'으로 압축해 저장량을 줄이고, 정밀 검색(CSA)과 전역 조망(HCA) 층을 번갈아 쌓는다.
• MHC의 이중 확률 행렬 제약과 뮤온 옵티마이저, FP4 양자화 인식 학습으로 거대 모델의 학습을 안정화한다.
• 후처리는 도메인별 전문가를 따로 키운 뒤 온폴리시 증류(OPD)로 한 모델에 통합해 전문성을 잃지 않는다.
• 그 결과 도구 호출이 20번 넘게 이어지는 긴 에이전트 작업에서도 문맥 유지 비용이 실용적 수준으로 내려간다.

쉽게 이해하기

긴 문맥에는 두 가지 비용이 있다. 하나는 연산이다. 어텐션은 다음 토큰에 어떤 과거 정보가 중요한지 매번 판단해야 하는데, 이 작업량은 사전 채움 단계에서 대략 시퀀스 길이의 제곱으로 늘어난다. 다른 하나는 메모리다. KV 캐시는 과거의 키·값 벡터를 저장하는데, 사용자 메시지·도구 결과·파일 내용·중간 단계·실수와 수정이 쌓일수록 커져 100만 토큰에 이르면 그 자체로 배포의 병목이 된다.

V4의 핵심은 오래된 문맥을 먼저 '압축'하는 것이다. 압축 희소 어텐션(CSA)은 토큰을 4개 창 단위로 묶어 학습된 가중치로 하나의 요약 브릭으로 만든다. 저장 길이가 4분의 1로 줄고, 라이트닝 인덱서가 이 브릭들만 훑어 상위 몇 개를 고른 뒤 그 위에서만 정확한 어텐션을 돌린다. 다만 방금 들어온 최근 토큰은 압축하지 않고 슬라이딩 윈도로 원본을 유지한다.

고압축 어텐션(HCA)은 약 128개 토큰을 하나의 브릭으로 훨씬 과감하게 압축한다. 시퀀스가 충분히 짧아지므로 인덱서 없이 모든 거친 브릭에 조밀한 어텐션을 돌려 문서·대화 전체의 큰 그림을 유지한다. V4는 CSA 층(정밀 검색)과 HCA 층(전역 조망)을 번갈아 쌓아 두 종류의 문맥을 동시에 확보한다.

거대 모델을 안정적으로 학습시키는 장치도 함께 들어간다. MHC는 잔차 흐름을 여러 갈래로 넓히되 혼합 행렬을 이중 확률(행·열 합이 1)로 제약해 신호가 폭주하지 않게 한다. 뮤온 옵티마이저는 갱신을 행렬로 다뤄 특이값 분포를 고르게 하고, FP4 양자화 인식 학습은 전문가 가중치를 4비트로 저장하면서도 학습 때부터 저정밀 제약에 적응시킨다.

사후 학습에서는 도메인을 한꺼번에 섞을 때 생기는 간섭 문제를 피한다. 수학·코드·추론·에이전트·일반 전문가를 따로 날카롭게 키운 뒤, 학생 모델이 스스로 만든 출력을 전문가가 토큰 단위로 채점하는 온폴리시 증류(OPD)로 하나로 합친다. 이렇게 정리된 스택 덕분에 CSA가 먼 과거의 정확한 근거를, HCA가 작업 전체 상태를, 최근 윈도가 최신 지시를 각각 맡아 긴 에이전트 추적이 실용적이 된다.

주요 인사이트

• 브릭 압축은 손으로 만든 평균이 아니라 학습으로 결정된다. 각 창에서 어떤 부분이 유용한지 모델이 배운다.
• 최근 토큰은 압축하지 않고 슬라이딩 윈도로 정확히 유지한다. 방금 일어난 일은 원본 그대로 필요할 때가 많기 때문이다.
• V4의 일관된 철학은 '나중에 압축이 통하길 바라지 말고, 학습 때부터 배포 제약(저정밀·희소·긴 문맥)에 맞춰 모델을 빚는다'는 것이다.
• OPD는 교사가 만든 데이터가 아니라 학생이 스스로 만든 출력(실수 포함) 위에서 교정하므로 배포 시 실제 분포와 정렬된다.
• 100만 토큰은 '마법 같은 완벽 기억'이 아니다. 극단적 길이에서는 검색 품질이 떨어지며, 목표는 그 구간을 '설계로 다룰 만하게' 만드는 것이다.

자주 묻는 질문

관련 AI 소식