DeepSeek V4 인프라 설계 분석 — 커스텀 어텐션·Mega MoE·KV 캐시 최적화

핵심 메시지

• DeepSeek V4의 저렴한 100만 토큰 컨텍스트는 단순한 어텐션 트릭이 아니라 어텐션 경로 전체를 효율화한 풀스택 인프라 설계의 결과다.
• 압축 KV·인덱서·희소 선택·전역 압축·슬라이딩 윈도 등 여러 종류의 메모리가 얽혀 완전한 커스텀 어텐션 경로가 필요했고, 인덱서 경로는 FP4 양자화까지 밀어붙였다.
• MoE의 병목은 연산이 아니라 토큰 이동(통신)이며, DeepSeek은 전문가를 작은 웨이브로 나눠 통신과 연산을 겹치는 Mega MoE 메가 커널로 1.5~2배 속도를 얻었다.
• 배치 구성이 출력을 바꾸는 문제를 이중 커널 전략으로 해결해 배치 불변성을 거의 오버헤드 없이 확보했고, 이는 RL 롤아웃 복구와 프리픽스 캐시 신뢰성으로 이어진다.
• DeepSeek은 디스크 KV 캐시로 100% 캐시 적중률을 유지하고, Muon 옵티마이저·teacher 스케줄링·DSEC 샌드박스까지 훈련·추론 전 구간을 최적화했다.

쉽게 이해하기

bycloud는 DeepSeek V4의 58쪽 리포트를 두 편으로 나눠 다루며, 이 영상에서는 앞선 개요편에 이어 인프라 설계를 깊이 파고든다. 핵심 전제는 값싼 100만 토큰 컨텍스트가 어텐션 트릭 하나가 아니라, 그 밑에 숨은 걸림돌들을 풀어낸 풀스택 엔지니어링에서 나왔다는 것이다.

V4의 어텐션은 압축 KV, 별도 인덱서 키, 압축 블록을 채점하는 라이트닝 인덱서, 희소 선택 메모리, 그리고 최근 토큰용 슬라이딩 윈도가 뒤섞여 있다. 각 압축 항목을 키와 값으로 공유하는 구조 탓에 절대 위치 정보가 값 쪽으로 새는 문제가 생겨, 마지막 64차원에만 부분 RoPE를 적용하고 음의 위치 보정을 더하는 방식으로 이를 막았다. 로짓 폭주를 막는 RMS 정규화와 GPT-OSS류의 어텐션 싱크 기법도 함께 쓰였다.

어텐션이 싸지자 병목은 각 트랜스포머 블록의 MoE 경로로 옮겨간다. 희소 MoE의 진짜 비용은 전문가 연산이 아니라 토큰을 옮기는 통신이다. 2025년 3월 Comet이 통신과 연산을 짝지어 겹쳤다면, DeepSeek은 전문가를 더 작은 웨이브로 쪼개 파이프라인화하고 이를 하나의 메가 커널로 융합한 Mega MoE로 일반 추론 1.5~1.73배, 지연에 민감한 워크로드에서는 최대 약 2배의 속도를 냈다.

이들은 배치 불변성 문제도 정면으로 다뤘다. split KV로 유휴 SM을 활용하면 부동소수점 덧셈 순서가 달라져 같은 입력도 배치에 따라 비트 단위로 결과가 바뀐다. DeepSeek은 한 시퀀스를 하나의 SM에서 처리하는 커널과, 꼬리 구간에서 여러 SM이 동일한 누적 순서를 따르는 커널을 결합한 이중 커널 전략으로, Thinking Machines 해법보다 오버헤드를 크게 줄이며 이를 해결했다.

메모리 측면에서는 KV 캐시를 고전적 압축 캐시와 상태 캐시로 나누고, 공유 프리픽스의 압축 항목을 디스크에 저장해 재계산 대신 재사용한다. 한 중국 블로거의 12시간 실험에서 DeepSeek은 피크·비피크 내내 100% KV 캐시 적중률을 보였다고 소개된다. 훈련 쪽에서는 대부분 파라미터에 Muon을 쓰되 행렬을 쪼개지 않도록 행렬 단위로 옵티마이저 작업을 분배했고, 여러 teacher를 한 학생으로 증류할 때 teacher를 그룹·스케줄링해 GPU 메모리를 아꼈다. 나아가 토큰 단위 write-ahead 로그로 RL 롤아웃을 중단 지점부터 복구하고, 함수 호출부터 풀 VM까지 네 단계 실행 환경을 하나의 파이썬 인터페이스로 제공하는 DSEC 샌드박스도 공개했다.

주요 인사이트

• 똑똑한 어텐션 패턴만으로는 부족하다. 그 패턴을 실제 속도로 만들려면 커널과 주변 최적화가 함께 필요하며, 그래서 커스텀 어텐션은 대다수 연구소에 위험한 베팅이라는 점을 영상은 강조한다.
• DeepSeek은 CUDA 버전(DeepGemm)은 공개했지만 화웨이 Ascend용 구현은 공개하지 않았다. 그럼에도 Ascend 스택과 긴밀히 협력하며 엔비디아 의존도를 낮추는 확장 경로를 확보하고 있다.
• 리포트에는 하드웨어 벤더를 향한 공개서한 같은 대목이 있어, 대역폭만이 아니라 연산·통신 비율, 메가 커널 시대의 전력 여유, 풀 기반보다 나은 푸시 기반 통신, 값싼 활성화 함수 같은 개선 방향을 제안한다.
• 커스텀 커널은 PyTorch 기본 연산자 대신 TileLang으로 작성돼 손으로 짠 CUDA에 가까운 성능을 내면서도 수정이 쉬워, 다른 곳에도 커스텀 커널을 적용할 여지를 넓혔다.
• DeepSeek은 향후 방향으로 아키텍처 단순화와 함께 에이전트 지능·멀티모달을 꼽았다. 긴 컨텍스트·저렴한 테스트타임 스케일링·도구 사용 후처리·DSEC 환경 덕에 에이전트 기반은 탄탄하지만, 멀티모달은 아직 뒤처져 있다고 평가된다.

자주 묻는 질문

관련 AI 소식