딥시크 DSpark: 추측 디코딩 개선으로 AI 추론 속도 최대 85% 향상

핵심 메시지

• 딥시크는 오픈AI보다 인력이 약 20배 적고 최상급 엔비디아 GPU도 쓰지 못하는 자원 제약 속에서, 효율을 극한까지 짜내는 방식으로 DSpark를 만들어냈다.
• AI가 느린 진짜 이유는 계산 자체가 아니라, 단어를 하나씩 생성할 때마다 이전 모든 단어의 관계 값을 메모리에서 불러오느라 GPU가 놀게 되는 병목 때문이다.
• DSpark는 빠른 병렬 드래프터에 '마르코프 헤드'를 붙여 접미부 붕괴 오류를 잡고, '신뢰도 헤드'로 초안을 언제 끊을지 판단해 낭비를 없앤다.
• 그 결과 이전 MTP 방식 대비 생성 속도가 60~85% 빨라지고 전체 시스템 처리량은 약 700%까지 늘었으며, 품질 저하는 없었다.
• 딥시크는 코드를 MIT 라이선스로 공개했고, 이 기술은 이미 최신 DeepSeek V4 모델에 적용되어 있다.

쉽게 이해하기

긴 작업을 처리하는 AI 에이전트나 챗봇을 쓰다 보면 응답이 나올 때까지 로딩 스피너를 하염없이 바라보게 된다. 영상은 이 기다림을 사실상 없애면서도 답변 품질은 그대로 유지하는 딥시크의 새 시스템 DSpark를 소개한다. 보통 속도와 품질은 맞바꿔야 하는 관계라 둘 다 잡는 것은 불가능해 보이지만, 딥시크는 그 벽을 넘었다고 설명한다.

현대 AI는 '자기회귀 생성' 방식으로 단어를 한 번에 하나씩 만들며, 각 단어는 앞의 모든 단어와의 관계를 참조해야 한다. 영상은 정작 신경망 계산은 GPU에게 식은 죽 먹기이며, 진짜 느린 부분은 저장된 관계 값들을 메모리에서 불러오는 과정이라고 짚는다. 값을 불러오는 동안 강력한 GPU가 대부분 놀고 있다는 것이다.

업계 표준 우회책은 '추측 디코딩'이다. 작고 빠른 모델이 여러 단어를 미리 초안으로 만들면, 크고 똑똑한 모델이 이를 병렬로 한꺼번에 검증한다. 틀린 단어가 나오면 그 지점부터 거부(거부 샘플링)하고 다시 초안을 만든다. 최종 결정권은 큰 모델에 있으므로 품질 손실이 없다는 것이 핵심이다.

문제는 초안을 만드는 작은 모델의 딜레마다. 순차 드래프터는 정확하지만 느리고, 병렬 드래프터는 빠르지만 여러 단어를 동시에 예측하다 'of problem' 같은 뒤죽박죽 오류(접미부 붕괴)를 낸다. DSpark는 병렬 드래퍼 위에 바로 앞 단어만 참고해 다음 단어를 보정하는 초경량 '마르코프 헤드'를 얹어, 저차원 분해로 계산 비용을 1% 남짓만 늘리면서 이 오류를 잡는다.

실제 서버 환경에서는 잘못된 긴 초안이 GPU 배치 용량을 낭비해 다른 사용자까지 느려진다. DSpark는 단어마다 0~1의 확신 점수를 매기는 '신뢰도 헤드'로 초안이 틀릴 것 같으면 조기에 끊고, GPU 부하를 실시간으로 살펴 초안 길이를 조절한다. 이 덕분에 큰 모델의 초안 수용률이 45.7%에서 96%로 치솟았다고 영상은 전한다.

주요 인사이트

• 속도와 품질의 트레이드오프는 절대적 법칙이 아니라 설계의 문제라는 점을 DSpark가 보여준다. 병목이 계산이 아니라 메모리 접근에 있음을 정확히 짚으면 우회로가 열린다.
• 무차별적으로 모델을 키우는 대신 '더 똑똑한 설계'로 승부하는 접근이, 자원이 부족한 팀일수록 오히려 근본적인 혁신을 낳을 수 있다.
• 마르코프 헤드(접미부 붕괴 해결)와 신뢰도 헤드(낭비 방지)를 결합해 소프트웨어부터 하드웨어까지 스택 전체를 함께 최적화한 점이 이 연구의 백미다.
• 폐쇄형 연구소가 '기업 비밀'로 감추는 데이터센터 배포·운영 노하우까지 MIT 라이선스로 공개한 것은, 오픈소스 진영의 실질적인 경쟁력을 보여준다.

자주 묻는 질문

관련 AI 소식