추측 샘플링으로 LLM 추론 속도 2~3배 높이기: 드래프트·검증·보정 원리

핵심 메시지

• 추측 샘플링은 출력 품질을 바꾸지 않으면서 LLM 생성 속도를 평균 2~3배 높이는 디코딩 전략이다.
• 핵심은 작고 빠른 '드래프트 모델'과 원래의 큰 '타깃 모델'을 함께 쓰는 것이다.
• 드래프트가 여러 토큰을 미리 생성 → 타깃이 한 번의 전방 패스로 검증 → 거절 샘플링으로 보정하는 3단계로 동작한다.
• 쉬운 토큰은 작은 모델로도 맞힐 수 있다는 점을, 트랜스포머 어텐션이 전체 시퀀스를 한 번에 처리하는 특성으로 활용한다.
• 추론 비용을 고정한 채 연산을 늘릴 수 있어 에이전트·추론(reasoning) 같은 응용의 실용성을 넓힌다.

쉽게 이해하기

언어 모델이 강력해질수록 '얼마나 빠르게 텍스트를 생성하느냐'는 추론 속도가 배포의 핵심 과제가 된다. 트랜스포머 구조에서 토큰 하나를 만들려면 모델 전체를 한 번 통과(전방 패스)해야 하고, 이 시간은 모델 크기에 비례한다. 즉 모델이 두 배 커지면 같은 길이의 문장을 만드는 시간도 대략 두 배가 된다.

추측 샘플링은 구글 리서치와 딥마인드가 독립적으로 발견한 기법으로, 한 모델이 모든 토큰에 같은 연산을 쓰는 대신 두 모델이 협력해 연산을 재분배한다. '어떤 토큰은 다른 토큰보다 예측하기 쉽다'는 직관에서 출발해, 쉬운 토큰은 값싼 작은 모델이 처리하도록 한다.

동작은 세 단계다. ①드래프트: 작은 모델이 주어진 문맥에서 K개(실험상 최적값 5개)의 토큰을 순차 생성하고 각 위치의 확률 분포를 캐시한다. ②검증: 큰 타깃 모델이 접두 문맥과 5개 초안 토큰 전체를 단 한 번의 전방 패스로 평가해 6개의 다음 토큰 분포를 얻는다. ③보정: 거절 샘플링으로 초안 토큰을 앞에서부터 승인/거절하고, 거절되면 그 지점에서 타깃 분포로 다시 샘플링한다.

속도가 빨라지는 비결은 검증 단계에 있다. 트랜스포머의 어텐션은 전체 시퀀스의 모든 토큰 위치를 한 번의 행렬 연산으로 동시에 처리하므로, 큰 모델을 한 번만 돌려도 여러 위치의 다음 토큰 분포를 한꺼번에 얻는다. 최선의 경우 5개 초안이 모두 승인되어 한 번의 타깃 패스로 5개 토큰을 만들고, 최악의 경우 첫 토큰이 거절돼도 검증 결과로 최소 1개 토큰은 확보한다. 그래서 실측 평균은 2~3배 향상이다.

품질이 유지되는 이유는 보정 단계의 설계 덕분이다. 타깃 모델은 자신의 예측이 드래프트와 일치할 때만 토큰을 승인하고 그렇지 않으면 거절하므로, 최종 결과가 타깃 모델의 분포에 정렬된다. 또한 드래프트가 쓰는 디코딩 전략(온도 샘플링 등)은 자유롭게 고를 수 있어 다른 기법과도 결합된다.

주요 인사이트

• 추론 속도 향상은 단순한 비용·에너지 절감을 넘어, 고정된 비용으로 더 많은 연산을 쓰게 해 지금은 닿기 어려운 능력(예: 뒤에서 사고 토큰을 생성하는 추론형 모델)을 여는 열쇠가 된다.
• '쉬운 토큰은 싸게, 어려운 토큰은 정확하게'라는 문제를 두 모델의 분업으로 우아하게 해결한 것이 추측 샘플링의 본질이다.
• 검증이 한 번의 전방 패스로 여러 토큰을 평가할 수 있는 것은 트랜스포머 어텐션이 시퀀스를 병렬로 처리하기 때문이며, 이 구조적 특성이 속도 이득의 근거다.
• 거절 샘플링 기반 보정은 최종 출력 분포가 타깃 모델과 같도록 보장하므로, 속도를 높이면서도 품질을 희생하지 않는다.
• 드래프트 모델의 디코딩 전략을 자유롭게 선택할 수 있어, 추측 샘플링은 기존 디코딩 기법 위에 얹어 쓸 수 있는 범용 가속 장치에 가깝다.

자주 묻는 질문

관련 AI 소식