야코비 포싱 정리: 초안 모델 없이 LLM 추론을 4배 빠르게 만드는 방법

핵심 메시지

• 야코비 포싱은 별도 초안 모델 없이 하나의 모델이 자기 출력을 추측하게 만들어, 디코딩을 토큰 하나씩이 아니라 연립방정식을 푸는 문제처럼 바꾼다.
• 학습 없이 그냥 적용하면 속도 향상이 약 1.05배에 그친다. 모델이 깨끗한 앞부분만 보고 학습돼, 중간에 섞인 틀린 토큰을 다룰 줄 모르기 때문이다.
• 해법은 모델이 스스로 만든 야코비 궤적으로 학습하는 것이다. 외부 데이터셋이나 교사 모델 없이, 노이즈를 낮은 쪽에서 높은 쪽으로 올리는 순서로 훈련해야 성능이 나온다.
• 다중 블록 처리와 거부 재활용을 더하면 순전파 한 번당 약 4.3개 토큰까지 나와, 기존 자기회귀 디코딩(1개)의 네 배를 넘는다.
• 확산 기반 텍스트 생성과 달리 인과 어텐션과 KV 캐시를 그대로 유지해, 기존 서빙 인프라에 수정 없이 얹을 수 있다.

쉽게 이해하기

추측 디코딩은 작은 초안 모델이 후보 토큰들을 제안하고 큰 타깃 모델이 한 번의 병렬 순전파로 검증하는 방식으로, 자기회귀 병목을 깨고 대략 세 배의 속도를 낸다. 그러나 대가가 세 가지 따라온다. 초안 모델이 타깃 모델과 함께 GPU 메모리를 점유하고, 두 모델의 분포가 어긋나면 수락률이 떨어져 이득이 사라지며, 각자 키-값 캐시를 유지해야 해서 어텐션 상태에 드는 메모리가 사실상 두 배가 된다.

야코비 포싱은 아예 초안 모델을 없애는 쪽을 택한다. 수치해석의 야코비 반복은 모든 미지수를 현재 값 기준으로 동시에 갱신하며 고정점에 수렴할 때까지 반복하는 기법인데, 이를 언어모델에 그대로 옮긴다. 출력 위치 전부를 무작위 토큰으로 채운 뒤 시퀀스 전체를 한 번에 통과시키면, 각 위치는 왼쪽에 놓인 토큰이 틀린 것이더라도 그것을 근거로 갱신된다. 한 번 지나면 일부 토큰이 확정되고, 두 번째 통과에서 자기회귀 디코딩과 같은 결과로 수렴한다.

문제는 손대지 않은 일반 모델에 이 방식을 적용하면 속도가 사실상 그대로라는 점이다. 모델이 깨끗하고 올바른 앞부분만 보고 학습됐기 때문에, 반복 도중 등장하는 오염된 토큰 앞에서는 예측이 불안정해진다. 학습 환경과 실행 환경의 이 간극을 메우려면 노이즈 자체를 학습시켜야 한다. 프롬프트마다 무작위 초기화에서 수렴까지 야코비 반복을 돌려 중간 상태를 전부 모으면, 모델이 자기 학습 데이터를 스스로 만들어내는 셈이 된다.

학습 순서도 중요하다. 처음에는 깨끗한 토큰 위주에 소량의 노이즈만 섞고 점차 비율을 올리는 방식이 정확도 85% 안팎에 도달한 반면, 높은 노이즈에서 시작해 줄여가는 방식은 60% 수준으로 무너졌다. 목적함수는 어떤 중간 상태를 넣어도 그 궤적이 향하는 깨끗한 고정점을 내놓게 하는 일관성 손실에, 기본 생성 품질을 지키기 위한 자기회귀 손실을 0.1 가중치로 더한 형태다.

학습을 마치면 두세 번의 반복으로 수렴하지만 확정된 블록 안에도 틀린 토큰이 남는다. 거부 재활용은 블록 전체를 버리는 대신, 거부된 토큰 주변의 검증된 문맥을 잘라내 캐시에 저장하고 다음 블록의 출발점으로 쓴다. 여기에 여러 블록을 한 번의 순전파에서 동시에 굴리는 구조가 더해진다. 앞선 블록이 확정되는 동안 뒤의 블록들이 미리 추측을 진행하고, 확정과 함께 한 칸씩 승격되는 식이다.

주요 인사이트

• 초안 모델을 없앤다는 것은 정렬 문제와 캐시 중복이라는 두 가지 골칫거리를 동시에 없앤다는 뜻이다. 메모리가 빠듯한 환경일수록 이 구조적 단순함의 값어치가 크다.
• 성능의 열쇠는 알고리즘보다 학습 커리큘럼에 있었다. 노이즈를 낮은 쪽에서 높은 쪽으로 올리느냐 반대냐에 따라 정확도가 85%와 60%로 갈렸다는 점은, 모델이 깨끗한 입력에서 먼저 실력을 쌓아야 한다는 것을 보여준다.
• 확산 기반 텍스트 생성과의 진짜 차이는 캐시에서 드러난다. 야코비 포싱은 왼쪽에서 오른쪽으로 캐시를 쌓아 그대로 유지하지만, 양방향 어텐션을 쓰는 확산은 토큰 하나만 바뀌어도 캐시 전체가 무효가 되어 매 단계 초기화해야 한다.
• 구현 호환성이 채택 여부를 가른다. 기존 서빙 스택에 수정 없이 얹을 수 있다는 점은, 새 인프라를 요구하는 방식에 비해 실전 도입 장벽을 크게 낮춘다.
• 아직은 초기 단계 기술이다. 코드와 수학처럼 구조가 뚜렷하고 엔트로피가 낮은 영역에서만 이득이 확실하며, 야코비 궤적 전용 파인튜닝이라는 추가 비용도 감수해야 한다.

자주 묻는 질문

관련 AI 소식