스페큘레이티브 디코딩 원리 해설: 품질 저하 없이 LLM 추론 속도를 2~3배 높이는 방법

핵심 메시지

• 트랜스포머 기반 언어 모델은 토큰을 하나씩 순차적으로 만들기 때문에, 내부 연산이 아무리 병렬화돼 있어도 출력이 길어질수록 시간이 선형으로 늘어난다.
• 논문의 출발점은 '토큰마다 만들어내는 난이도가 다르다'는 관찰이다. 접속사 하나를 뽑는 데 수백억 파라미터 모델이 꼭 필요하지는 않다는 것이다.
• 작은 초안 모델이 감마(γ)개의 토큰을 먼저 추측하면, 큰 모델이 그 후보들을 한 번의 병렬 연산으로 검증한다. 맞으면 그대로 채택하고 틀린 지점부터 다시 시작한다.
• 검증 규칙이 확률적으로 설계돼 있어 최종 출력 분포가 큰 모델 단독 결과와 같다. 즉 이론상 성능 저하가 존재할 수 없다.
• 추가 학습도, 모델 구조 변경도 요구하지 않아 이미 운영 중인 서비스에도 바로 얹을 수 있다는 점이 이 방법의 실용적 가치다.

쉽게 이해하기

발표자는 딥러닝 논문읽기 모임 자연어처리 팀에서 구글 리서치의 ICML 2023 논문 'Fast Inference from Transformers via Speculative Decoding'을 리뷰했다. 2023년 논문이라 시간이 조금 지났지만, 아이디어가 간단하면서도 강력해 최근 대형 모델 서비스의 효율화 논의에서 계속 언급된다는 이유로 골랐다고 설명했다.

문제의식은 명확하다. 모델 파라미터는 계속 커지는데, 표준이 된 트랜스포머 구조는 자기회귀(autoregressive) 방식의 한계를 그대로 안고 있다. 이번 토큰의 출력이 다음 입력이 되므로 토큰 사이에 의존성이 생기고, 모델 내부 연산 대부분이 병렬 처리 가능한데도 정작 토큰을 뽑는 과정 자체는 순차적으로 진행된다. 요구되는 출력 길이가 계속 길어지는 상황과 맞물리면 수십억 파라미터 모델을 수만 번 통과시켜야 한다는 뜻이 된다.

저자들이 주목한 지점은 토큰마다 정답을 맞히는 난이도가 같지 않다는 것이다. 발표자는 문장 중간의 '예를 들어'라는 표현을 만드는 난이도와 뒤편의 수식을 정확히 만드는 난이도가 절대 같을 수 없다고 설명했다. 여기서 컴퓨터과학의 스페큘레이티브 실행(speculative execution) 개념을 빌려온다. 어떤 작업이 실제로 필요한지 먼저 검증하고 검증된 것만 실행해 자원을 아끼는 방식이다.

구체적인 절차는 이렇다. 가벼운 초안 모델 A가 정해진 주기 감마만큼 토큰을 먼저 뱉는다. 이때 A가 해당 토큰에 부여한 확률을 q(x), 큰 모델 B가 같은 토큰에 부여한 확률을 p(x)라 하면, p가 q보다 크거나 같을 때는 그대로 승인하고 그렇지 않으면 p/q 확률로 승인한다. 거절되면 그 자리부터 큰 모델의 분포로 교정하고 뒤에 붙어 있던 후보는 모두 버린 뒤 다시 시작한다. 발표자는 이를 '작은 모델이 뱉은 토큰이 정답과 다르면 거절하고 그 부분을 정답으로 대체한다'는 한 줄로 요약했다.

그렇다면 큰 모델을 어차피 여러 번 돌리는 것 아니냐는 의문이 남는다. 핵심은 여기다. 초안 모델이 감마개의 토큰을 다 만들고 나면, 큰 모델에 넣을 입력 프리픽스가 이미 전부 확보된 상태가 된다. 따라서 B1부터 B감마까지의 검증을 순차 실행이 아니라 한 번의 배치 디코딩으로 처리할 수 있고, 바로 이 지점에서 가속이 발생한다. 발표자는 이 부분을 논문에서 가장 좋아하는 대목으로 꼽았다.

주요 인사이트

• 감마(검증 주기)는 이 논문에서 가장 중요한 하이퍼파라미터다. 초안이 얼마나 승인되는지를 나타내는 기대값을 논문은 알파(α)라 부르는데, 알파는 감마 길이뿐 아니라 두 모델의 크기 차이, 초안 모델 자체의 성능, 두 모델 아키텍처의 유사도에 따라 달라진다.
• 실험에서는 타깃 모델보다 100배 이상 작은 초안 모델을 썼다. 초안 모델을 줄일수록 한 번 돌리는 비용은 싸지지만 승인률이 떨어져 되돌아가는 일이 잦아지고, 초안 모델이 클수록 승인률은 오르지만 자체 비용이 커진다. 명확한 트레이드오프가 존재한다.
• 온도(temperature)가 0에 가까울수록 출력 변동이 작아 큰 모델과 작은 모델이 비슷한 토큰을 뽑을 확률이 높아지고, 그만큼 가속 폭도 커졌다.
• 초안 모델이 꼭 트랜스포머여야 할 이유는 없다. 저자들은 딥러닝 이전에 쓰이던 n-gram 기반 예측까지 시험했는데, 승인률이 너무 낮아 실사용은 어려웠다. 다만 그런 단순한 방식조차 승인률이 아예 무의미하지는 않았다는 점을 저자들은 의미 있게 봤다.
• 발표자는 이 방법이 언어 모델을 넘어 디퓨전 등 다른 계열 모델에도 적용 가능하다는 연구가 이어지고 있으며, 스페큘레이티브 디코딩 자체가 추론 가속 방법론의 한 계열로 정립됐다고 정리했다.

자주 묻는 질문

관련 AI 소식