딥시크 V4 논문 정리: 희소 어텐션 세 갈래와 롱컨텍스트 연산 27%·메모리 10% 감축

핵심 메시지

• 딥시크 V4는 R1 이후 약 1년 4개월 만에 나온 새 기반 모델로, 크기가 6000억 급에서 1.6조 파라미터로 커졌고 아키텍처의 축이 통째로 바뀌었다.
• 핵심 변화는 희소 어텐션이다. 과거 토큰을 500개 정도로 제한하는 슬라이딩 윈도, 100분의 1로 압축한 뒤 전체를 보는 어텐션, 4분의 1로 압축한 뒤 상위 k개만 골라 보는 압축 희소 어텐션 세 가지를 함께 쓴다.
• 그 결과 Pro 기준으로 토큰당 연산량이 이전 세대의 27% 수준, KV 캐시 메모리는 10% 수준으로 내려갔다. 문맥이 길어져도 비용이 급격히 늘지 않는 구조가 됐다.
• 다른 중국 팀들이 '희소 어텐션을 처음부터 학습하는 것은 너무 어렵다'고 결론 냈던 문제를, 딥시크는 초반 1조 토큰만 밀집 어텐션으로 쓰고 나머지 30조 토큰 이상을 희소 어텐션으로 돌리며 정면 돌파했다.
• 출연자들의 진단은 사전학습에서는 이미 미국과 대등한 수준에 도달했고, 남은 승부처는 사후학습(post-training)에 얼마나 많은 연산을 투입하느냐라는 것이다.

쉽게 이해하기

2026년 4월 26일 아침에 녹화된 이 회차는 GPT-5.5 출시와 구글 클라우드 넥스트로 시끄러웠던 한 주에서 가장 중요한 소식으로 딥시크 V4를 꼽습니다. 진행자는 지금 파악되는 중국 프론티어 랩만 다섯 곳 정도라며 딥시크, Kimi, GLM으로 알려진 Z.ai, 텐센트, 그리고 딥시크 출신 인력이 옮겨 간 샤오미의 MiMo를 나열합니다. 그 정점에 있는 것이 딥시크이고, R1 이후 오랜만에 기술적으로 파고들 만한 보고서가 나왔다는 것이 이날의 출발점입니다.

모델 자체는 커졌습니다. 딥시크 V3가 6000억 파라미터대에 활성 파라미터 37B 수준이었다면 V4는 1.6조 규모이고, 작은 모델도 함께 공개됐습니다. 알고리즘 혁신은 세 갈래로 정리됩니다. 잔차 연결의 '통로 폭'을 넓히되 이를 안정화한 mHC(Manifold-Constrained Hyper-Connections), 롱컨텍스트 비용을 끌어내린 희소 어텐션, 그리고 요즘 중국 모델들이 거의 표준처럼 쓰는 Muon 옵티마이저입니다. 상징적이던 MLA는 빠지고 더 단순한 Multi-Query Attention으로 돌아갔습니다.

희소 어텐션의 흐름 자체는 단순합니다. 먼저 KV 캐시를 4분의 1로 압축하고, Lightning Indexer라는 가벼운 연산으로 그중 상위 k개를 골라내며, 그 k개에 대해서만 어텐션을 계산합니다. 문제는 top-k 선택 연산이 미분 불가능하다는 점입니다. 전문가 100여 개 중에서 고르는 MoE와 달리 여기서는 100만 개 토큰 중에서 골라야 하고, MoE의 로드 밸런싱 같은 보조 장치도 쓰기 어렵습니다. 그래서 다른 팀들은 '밀집 어텐션으로 학습한 뒤 나중에 희소 어텐션을 얹자'는 절충으로 물러섰습니다.

인프라 쪽 서술도 만만치 않습니다. 분산 학습에서 통신과 연산을 겹치기 위해 바이트댄스의 Comet 연구를 한 번 더 잘게 쪼개 개선했고, 커널을 mega-kernel 형태로 키워 연산 밀도를 높였습니다. 밀도를 너무 올린 나머지 전력 스로틀링이 걸려 앞으로는 전력 인프라를 더 확충해야 할 것 같다는 언급까지 보고서에 담겼습니다. 커널 개발용 DSL인 TileLang에 크게 기여했고, 배치 불변성(batch invariance) 커널을 공개했으며, 전문가 가중치는 MXFP4로 4비트 압축했습니다.

학습은 32조 토큰 규모로, 4K에서 16K로 올린 뒤 약 1조 토큰을 학습하고 나머지 30조 토큰은 64K 이상에서 돌립니다. 롱컨텍스트를 사후 단계가 아니라 사전학습에 통합한 것으로, 그만큼 긴 문서가 충분히 확보돼 있다는 뜻이기도 합니다. 사후학습에서는 분야별 전문가 모델을 만든 뒤 On-Policy Distillation으로 합치고 루브릭 기반 보상 모델을 썼습니다. 엔비디아 칩과 화웨이 칩을 함께 썼다는 서술도 나옵니다.

주요 인사이트

• 롱컨텍스트의 의미가 달라졌다. 예전에는 '문서를 많이 넣고 싶다' 수준이었다면, 지금은 에이전트가 다룰 수 있는 과제의 규모와 복잡성이 문맥 길이에 직접 걸려 있다.
• 딥시크는 '어떻게 만들었는지'는 전부 공개하지만 '왜 그렇게 하면 되는지'는 설명하지 않는다. 몇 스텝 이전의 가중치로 MoE 라우팅을 하는 Anticipatory Routing 같은 선택은 출연자들도 이유를 모르겠다고 말한다.
• 요즘 LLM 보고서들이 '학습이 매우 안정적이었다'고 말하는 것과 달리, 이 보고서는 학습 불안정성을 여러 곳에서 인정한다. 그 고생의 흔적 자체가 이 문서의 특징이다.
• 희소함은 딥러닝에서 늘 매력적이지만 늘 문제를 만든다. 연산을 줄여 주는 대신 학습을 불안정하게 만드는 이 맞교환이 MoE보다 어텐션에서 훨씬 강하게 작용한다.
• 한국에서는 AI 소식의 대부분이 실리콘밸리를 향해 있지만, 이 회차의 결론은 지금 아키텍처 최전선의 상당 부분이 중국에 있다는 것이다.

자주 묻는 질문

관련 AI 소식