DeepSeek-V4 어텐션 구조 해설: 100만 토큰 문맥과 효율적 압축 방식

핵심 메시지

• 표준 어텐션은 문맥 길이에 대해 계산량이 제곱으로 늘어나 초장문 추론이 매우 비싸다는 것이 핵심 병목이다.
• DeepSeek-V4는 모든 토큰에 일일이 주목하는 대신 문맥 대부분을 압축하고 중요한 곳에만 계산을 집중한다.
• 고압축 어텐션(HCA)은 128개 토큰을 하나로 요약하고, 압축 희소 어텐션(CSA)은 4개씩 부드럽게 압축한 뒤 top-k로 중요한 부분만 고른다.
• 1백만 토큰 기준으로 KV 캐시 메모리가 V3.2 대비 약 9.5배 작아지는 등 효율이 크게 개선됐다.
• 잔차 스트림(MHC)이 각 층에서 버려진 정보를 이후 층으로 전달해 압축으로 인한 정보 손실을 완화한다.

쉽게 이해하기

에이전트형 워크플로와 추론 모델의 확산으로 모델이 점점 더 긴 문맥을 다뤄야 하는 상황이 됐습니다. 그러나 표준 어텐션은 시퀀스 길이에 따라 계산이 제곱으로 늘어나기 때문에, 초장문 추론은 비용 면에서 큰 부담이 됩니다. DeepSeek-V4 논문은 바로 이 문제를 정면으로 다룹니다.

핵심 아이디어는 단순합니다. 시퀀스의 모든 토큰에 주목하는 대신, 문맥의 대부분을 압축해 요약하고 실제로 중요한 지점에만 연산을 몰아주는 것입니다. 논문에 따르면 100만 토큰 길이에서 DeepSeek-V4 Pro의 키-값 캐시는 이전 버전인 V3.2보다 약 9.5배 작아, 추론 시 메모리 사용량이 크게 줄어듭니다.

구조적으로 V4는 어텐션 블록에서 완전 어텐션을 두 가지 특화된 방식으로 대체합니다. 하나는 고압축 어텐션(HCA)으로 128개 토큰 묶음을 학습된 가중치와 소프트맥스로 단 하나의 항목으로 요약하고, 여기에 질의 토큰 바로 앞의 슬라이딩 윈도 토큰을 이어 붙여 국소 문맥을 보완합니다.

다른 하나는 압축 희소 어텐션(CSA)입니다. 여기서는 4개 토큰을 겹치는 창으로 부드럽게 압축한 뒤, '라이트닝 인덱서'가 매긴 점수를 바탕으로 top-k 선택기가 가장 중요한 항목(Pro는 1,024개)만 남깁니다. 마지막으로 바로 앞의 128개 원본 토큰을 이어 붙여, 아무리 긴 시퀀스라도 어텐션이 실제로 처리하는 길이는 약 1,152 토큰 수준으로 유지됩니다.

두 어텐션은 층마다 번갈아 사용되며, 잔차 스트림이 각 층에서 미처 중요하게 평가되지 못해 압축된 정보를 이후 층으로 흘려보내 손실을 막습니다. 그 결과 V4는 상위 상용 모델과 견줄 만한 성능을 보이면서, 100만 토큰 구간까지도 다중 사실 검색에서 인상적인 정확도를 유지합니다.

주요 인사이트

• 효율화의 대부분은 새 어텐션 방식에서 나온다. 압축 정도가 다른 두 어텐션을 섞어 '전역 요약'과 '선택적 정밀 주목'을 함께 얻는다.
• 긴 문맥을 값싸게 다룰 수 있게 되자, DeepSeek은 강화학습 단계에서 긴 출력에 대한 벌점을 낮춰 테스트타임 연산을 더 키운 'max 모드'를 만들 수 있었다.
• V4 Pro Max는 여러 벤치마크에서 상위 상용 모델과 경쟁하며, 지식 벤치마크 SimpleQA verified에서는 오픈소스 대비 약 20점 차이를 보였다.
• 다중 니들 검색 결과, 12만8천 토큰까지는 성능이 안정적이고 그 이후 서서히 저하되지만 100만 토큰에서도 쓸 만한 수준을 유지한다.
• 저자들은 V4가 프런티어 모델에 약 3~6개월 뒤처지는 수준으로 추정한다고 밝혔다.

자주 묻는 질문

관련 AI 소식