LLM 테스트타임 컴퓨트 스케일링: 검증기 탐색과 순차 수정, 그리고 모델 크기와의 맞교환

핵심 메시지

• 알파고·알파제로가 신경망 위에 탐색을 얹어 성능을 크게 끌어올렸듯, LLM도 추론 시(테스트타임) 계산을 더 쓰면 성능을 높일 수 있다는 것이 출발점이다.
• 문헌은 엇갈린다. 자기수정(self-refine)이나 다중 에이전트 토론은 어려운 추론 과제에서 단순한 다수결에도 못 미치는 반면, 학습된 검증기로 best-of-n 탐색을 하면 잘 작동하고 확장된다.
• 연구진은 문제 난이도와 예산에 맞춰 최적의 탐색 전략을 고르는 '계산 최적(compute-optimal) 스케일링'을 정의하고, 난이도는 pass@1을 분위로 나눠 추정한다.
• 빔 서치는 작은 예산과 어려운 문제에서, best-of-n은 쉬운 문제에서 유리하며, 모델이 스스로 답을 고쳐 가는 순차 수정과 병렬 샘플링 사이에도 문제 난이도에 따른 최적 비율이 존재한다 — 최적 선택 시 최대 4배 적은 계산으로 같은 성능을 낸다.
• FLOPs를 맞춘 비교에서, 쉬운·중간 난이도 문제나 추론 요구가 적은 상황에서는 테스트타임 컴퓨트가 모델 파라미터를 키우는 것보다 유리할 수 있고, 아주 어려운 문제나 추론량이 많은 상황에서는 파라미터를 키우는 편이 낫다.

쉽게 이해하기

찰리 스넬은 딥마인드 인턴십에서 수행한 연구를 소개하며, AI에 추론 시점의 추가 계산을 허용하면 성능이 크게 오른다는 오랜 관찰에서 이야기를 시작한다. 알파고·알파제로는 정책·가치 신경망만으로도 수를 빠르게 예측하지만, 그 위에 탐색을 얹으면 파라미터를 크게 키운 것과 맞먹는 성능 향상을 얻는다. 문제는 이런 탐색이 바둑이나 특정 게임처럼 좁은 과제에 한정돼 있다는 점이다. 그렇다면 범용 언어 모델에서도 테스트타임 스케일링을 작동시킬 수 있을까?

관련 문헌은 혼란스럽다. 모델에게 스스로 비판하고 고치게 하는 자기수정은 요약이나 무해성 같은 쉬운 과제에서는 통하지만, 어려운 추론 과제에서는 오히려 성능이 떨어진다. 여러 인스턴스가 서로 토론하게 하는 방식도 여러 추론 과제에서 단순한 다수결(여러 답을 뽑아 가장 흔한 답을 고르는 것)에 못 미친다. 반면 답의 정확성을 검증하도록 미세조정한 검증기를 두고 best-of-n으로 고르면 다수결을 큰 폭으로 앞서고 샘플을 늘릴수록 성능이 오른다.

연구진은 이를 정리해 '주어진 예산에서 문제마다 최적의 탐색 알고리즘과 하이퍼파라미터를 고르는 것'을 계산 최적 스케일링으로 정의한다. 핵심 도구는 문제 난이도다. 답을 여러 개 뽑아 pass@1(한 번에 맞히는 비율)을 구하고 이를 분위로 나눠, 자주 틀리면 어려운 문제, 자주 맞히면 쉬운 문제로 본다. 정답을 모르는 실제 상황을 위해 검증기로 난이도를 대신 예측하는 방법도 함께 쓴다. 검증기(과정 보상 모델, PRM)는 값비싼 인간 라벨 대신 Math-Shepherd식으로 각 단계에서 몬테카를로 롤아웃을 돌려 정답에 이르는 비율을 지도 신호로 삼는 가치 함수로 학습한다.

검증기 기반 탐색에서는 best-of-n, 빔 서치, 그리고 몬테카를로 트리 탐색에 가까운 룩어헤드 서치를 비교한다. 빔 서치 계열은 작은 예산에서 특히 강하고 다수결·best-of-n을 앞서지만, 예산을 키우면 best-of-n에 수렴한다. 난이도별로 보면 쉬운 문제에서는 빔 서치가 과최적화 징후를 보이고 best-of-n·다수결로도 충분한 반면, 3~4단계의 어려운 문제에서 빔 서치가 빛을 발한다. 다만 가장 어려운 문제에서는 검증기 자신이 오류를 내 모든 방법의 성능이 낮다. 난이도별 최적 전략을 고르면 best-of-n 대비 최대 4배 적은 계산으로 같은 성능을 낸다.

두 번째 축은 모델이 답을 반복해서 고치는 순차 수정이다. 초반의 자기수정과 달리, 여기서는 오답들 뒤에 정답을 붙인 합성 사슬로 모델을 미세조정해 문맥 속 이전 시도로부터 배우게 만든다. 그 결과 순차 샘플링이 병렬 샘플링을 앞서고, 순차와 병렬의 비율에도 최적점이 있다(쉬운 문제는 순차가, 어려운 문제는 절충점이 유리). 마지막으로 FLOPs를 맞춰 14배 큰 사전학습 모델과 비교하면, 쉬운·중간 난이도나 추론 요구가 적은 환경에서는 테스트타임 컴퓨트가, 아주 어렵거나 추론량이 많은 환경에서는 파라미터 확장이 유리하다는 결론에 이른다.

주요 인사이트

• 핵심 처방은 '문제 난이도에 맞춰 전략을 바꾸는 것'이다. 하나의 탐색 방법이 모든 상황에서 최적인 것이 아니라, 예산과 난이도의 조합에 따라 best-of-n·빔 서치·순차/병렬 비율의 최적점이 달라진다.
• 과거 부정적 결과와의 결정적 차이는 '미세조정'에 있다. 기성 모델에 프롬프트만 주던 자기수정과 달리, 스넬 연구진은 검증·수정 능력을 위해 모델을 직접 미세조정했고 이것이 오늘날 LLM에서 테스트타임 컴퓨트를 여는 열쇠였다.
• 이 접근의 한계도 분명하다. 검증기나 수정 학습, o1식 강화학습 모두 정답(ground truth)이 있는 과제를 필요로 하므로 수학·코딩에는 잘 맞지만, 자유 형식 글쓰기처럼 정답을 정의하기 어려운 과제로 확장하는 것은 열린 문제다.
• 스넬은 o1과 딥시크가 긴 사고의 사슬을 강화학습으로 최적화하는 유망한 방향임을 언급하며, 자신의 연구와는 동시기의 서로 다른 접근이라고 선을 긋는다. '더 단순한 방법(빔 서치)이 잘 작동하면 이를 이기기 어렵다'는 그의 태도는 실용적 시사점을 준다.

자주 묻는 질문

관련 AI 소식