딥시크 DSpark 투기적 디코딩: AI 응답 속도 60~85% 향상 원리

핵심 메시지

• 대형 언어모델이 한 번에 한 토큰씩 답을 생성하는 방식은 느리고 비용이 크다.
• 투기적 디코딩은 값싼 초안 모델이 다음 몇 단어를 빠르게 써 두고, 강력한 본 모델이 이를 검증해 맞는 부분만 채택하는 방식이다.
• 딥시크의 DSpark는 초안 모델에 약간의 기억을 더하고, 살아남기 어려운 단어를 미리 가려내며, 검증에 GPU를 쓸 가치가 있는지 판단하는 세 가지 개선을 담았다.
• 자체 Flash·Pro 모델에서 기존 MTP1 대비 60~85%의 속도 향상을 보고했다.
• 새로운 더 똑똑한 모델이 아니라 기존 모델을 더 빠르게 돌리는 기법이라는 점이 핵심이다.

쉽게 이해하기

AI에게 이메일을 다시 써 달라고 하면 모델은 보통 단어(토큰)를 하나씩 순서대로 내놓는다. 영상은 이 방식이 근본적으로 느리며, 한 문장을 통째로 동시에 내보낼 수 있다면 스마트폰 위에서 돌 만큼 많은 느린 AI가 실사용 가능해질 것이라고 설명한다.

문제는 크고 똑똑한 모델이 '유능하지만 비싼 선임 편집자'와 같다는 점이다. 다섯 단어를 하나씩 쓰게 하면 다섯 번을 생각해야 하므로 여전히 느리고 비싸다. 그래서 등장한 것이 값싼 '신참 작가'에게 다음 몇 단어를 빠르게 초안으로 쓰게 하고, 선임 편집자가 '맞다·맞다·틀리다'로 검증해 첫 오답 이후는 버리는 방식이다. 이것이 투기적 디코딩(speculative decoding)이다.

다만 신참 작가는 경험이 부족해 앞말과 뒷말이 어긋나는 등 실수를 한다. 딥시크의 새 연구 DSpark는 이 관계를 다듬는 세 가지 장치를 제안한다. 첫째, 초안 모델에 아주 작은 기억을 더해 앞서 뽑은 단어가 다음 단어에 영향을 주도록 한다. 둘째, 애초에 살아남기 어려운 단어를 미리 추정해 검증 시간을 아낀다. 셋째, 지금 이 단어를 검증하는 데 GPU를 쓸 가치가 있는지 판단한다.

세 번째 장치는 작업 성격에 따라 달라진다. 코드나 수학처럼 다음 단어가 예측 가능한 경우 초안 모델이 강하지만, 결혼식 축사처럼 열린 문장은 가능한 답이 무수히 많아 뒤로 갈수록 초안이 어긋나기 쉽다. DSpark는 이런 위험을 미리 예측한다.

성능은 자체 Flash·Pro 모델에서 기존 생산용 다중 토큰 예측(MTP1) 대비 60~85% 향상으로 보고됐다. 논문에는 661% 처리량이라는 수치도 있지만, 이는 기존 MTP1이 한계에 몰린 특수한 경우에만 나오는 값이라고 영상은 선을 긋는다.

주요 인사이트

• 속도 향상은 '더 똑똑한 모델'이 아니라 기존 모델을 더 효율적으로 돌리는 데서 온다. 그래서 화제성은 낮지만 실사용 가치는 크다.
• 이득은 작업 부하에 크게 좌우된다. 코드·수학에서는 초안 예측이 잘 맞아 효과가 크고, 열린 대화에서는 상대적으로 작다.
• 이 기법은 외부에서 마법처럼 끼워 넣을 수 없다. 짝이 맞는 초안 모델, 본 모델의 확률값 접근, 이를 효율적으로 처리하는 서빙 시스템이 필요하다.
• 공개 과학으로 나온 개선이라 다양한 AI 어시스턴트에 원리상 적용될 수 있다는 점에서 파급력이 있다.

자주 묻는 질문

관련 AI 소식