딥시크 V4 분석: CSA·HCA 어텐션으로 100만 토큰 컨텍스트를 저비용에 구현한 방법

핵심 메시지

• 딥시크 V4는 Pro와 Flash 두 모델과 58쪽 기술 보고서로 공개됐으며, 벤치마크 성능보다 '긴 컨텍스트를 값싸게 서빙하는 효율'에 초점을 맞췄다고 영상은 설명한다.
• 두 가지 새 어텐션 기법 CSA(압축 희소 어텐션)와 HCA(고압축 어텐션)를 도입해, 100만 토큰 컨텍스트에서 메모리와 연산 비용을 크게 줄였다.
• 영상이 인용한 API 가격은 75% 할인 적용 시 입력 100만 토큰당 0.435달러, 출력 0.87달러 수준으로, 경쟁 모델 대비 현저히 낮다고 소개된다.
• V4 Pro는 총 1.6조 파라미터(활성 490억), V4 Flash는 총 2840억 파라미터(활성 130억)이며 둘 다 100만 토큰 컨텍스트를 지원한다고 밝혔다.
• 최종 모델은 RL을 직접 적용하지 않고, 도메인별 전문가 모델을 따로 학습한 뒤 온폴리시 디스틸레이션으로 하나로 합치는 방식을 택했다.

쉽게 이해하기

이 영상은 딥시크가 약 두 달간 예고한 끝에 공개한 4세대 모델 V4를 다룬다. 함께 나온 모델은 V4 Pro와 Flash 두 가지이며, 딥시크는 자신들이 어떻게 이 모델을 만들었는지 설명하는 58쪽 분량의 기술 보고서도 함께 냈다. 영상은 V4가 오픈 웨이트 모델 벤치마크에서 3위권으로 평가된다고 언급하면서도, 진짜 의미는 순위가 아니라 '긴 컨텍스트를 값싸게 서빙한다'는 데 있다고 강조한다.

핵심은 두 가지 새 어텐션 기법이다. CSA(compressed sparse attention)는 토큰 4개를 학습된 하나의 KV 항목으로 압축한 뒤, '라이트닝 인덱서'로 관련성 높은 압축 블록만 골라 읽는다. 단순 평균이 아니라 각 토큰이 얼마나 기여할지를 모델이 학습한다는 점이 특징이다. HCA(heavily compressed attention)는 토큰 128개를 하나의 KV 항목으로 훨씬 공격적으로 압축해 CSA보다 32배 가벼운 메모리에 대해 밀집(dense) 어텐션을 적용한다. 여기에 최근 128개 토큰을 위한 슬라이딩 윈도우 branch까지 더해, 단기·중기·장기 기억을 세 갈래로 처리한다고 설명한다.

영상은 이 구조가 선형 어텐션은 아니며 비용이 여전히 제곱으로 늘지만 훨씬 완만하게 증가한다고 명확히 짚는다. 효율 수치로는 100만 토큰 기준 V4 Pro가 V3.2 대비 단일 토큰 추론 연산의 27%, KV 캐시의 약 10%(약 9.5배 축소)만 사용하고, V4 Flash는 약 7%(약 13.7배 축소)라고 인용한다. 라마 2·3에서 쓰인 GQA 기준과 비교하면 KV 캐시가 Pro는 약 34배, Flash는 약 49배 줄어든다는 것이다.

학습 측면에서는 V4 Flash가 32조, V4 Pro가 33조 토큰으로 사전학습됐으며 이는 이전 딥시크 학습량의 두 배 수준이라고 한다. 옵티마이저로는 대부분의 파라미터에 Muon을 쓰고 임베딩·예측 헤드·정규화 가중치 등에는 AdamW를 유지했다. 또한 잔차 스트림을 여러 갈래로 확장해 섞는 MHC, 256개의 세분화된 라우터 전문가를 쓰는 MoE, 초기 층을 학습 라우팅 대신 토큰 ID 기반 해시 라우팅으로 바꾼 점 등 여러 구조 변경을 소개한다.

후처리에서 딥시크는 최종 모델에 강화학습(RL)을 직접 걸지 않는 결정을 내렸다. 대신 수학·코딩·에이전트·지시 따르기 등 도메인별 전문가 모델을 따로 학습하고, 이를 온폴리시 디스틸레이션으로 하나의 통합 모델에 녹였다. 검증이 쉬운 과제엔 GRPO를, 그렇지 않은 과제엔 생성형 보상 모델을 썼다. 추론 모드는 비사고·thinking high·think max로 나뉘며, Pro/Flash 각각에 Base·Max를 더해 총 여섯 변형이 나온다고 정리한다.

주요 인사이트

• 딥시크의 방향성은 벤치마크 1위 경쟁이 아니라 '긴 컨텍스트의 서빙 비용을 낮추는 것'이며, 어텐션 비용을 줄이면 병목이 다른 곳(전문가 가중치 이동·연산)으로 옮겨간다는 관점을 보여준다.
• CSA와 HCA는 각각 '압축+희소 검색'과 '더 강한 압축+밀집 어텐션'으로, 정밀도와 비용의 상충을 서로 보완하도록 1:1로 교차 배치된다.
• V4는 MoE 전문가 가중치에 FP4 양자화 인식 학습(QAT)을 적용해, 학습 이후 양자화가 아니라 낮은 정밀도에서도 견디도록 처음부터 학습했다고 설명한다.
• 최종 모델에 RL을 직접 걸지 않고 전문가 디스틸레이션으로 합치는 방식은, 여러 RL 목표가 충돌해 모델이 한쪽으로 치우치는 문제를 피하려는 선택으로 제시된다.
• 중국의 엔비디아 GPU 제약 때문에 화웨이 칩 추론을 처음부터(day zero) 지원하는 등, 논문이 모델 논문인 동시에 엔지니어링·시스템 논문에 가깝다는 점이 강조된다.

자주 묻는 질문

관련 AI 소식