추론 시점 스케일링 정리 — 스탠퍼드 CS329A 강의로 보는 반복 샘플링과 생성·검증 격차

핵심 메시지

• 같은 질문을 여러 번 반복해 답을 뽑고 그중 맞는 것을 골라내면, 작은 오픈소스 모델도 한 번에 답한 대형 상용 모델을 넘어설 수 있다.
• 표본 수를 늘릴 때 성능이 오르는 양상은 우연이 아니라 멱법칙을 따르며, 7,000만 파라미터부터 700억 파라미터 모델까지 폭넓게 관찰됐다.
• 정답이 후보 안에 이미 들어 있어도 그것을 골라내지 못하는 '생성과 검증의 격차'가 실제 성능의 병목이다.
• 유닛 테스트나 형식 증명처럼 자동 검증 수단이 있는 영역에서 이 방식이 가장 잘 작동한다.
• 쉬운 문제와 중간 난도 문제는 추론 컴퓨팅을 늘리는 편이 유리하지만, 가장 어려운 문제에는 여전히 더 크고 더 많이 학습한 모델이 낫다.

쉽게 이해하기

스탠퍼드 CS329A '스스로 개선하는 AI 에이전트' 강의의 2강 주제는 추론 시점 스케일링이다. 강연자는 대형 언어모델 개발을 사전학습, 파인튜닝, 추론의 세 단계로 나눈 뒤, 이번 시간에는 모델의 파라미터를 전혀 건드리지 않고 추론 단계에서 성능을 끌어올리는 방법만 다루겠다고 밝혔다. 사전학습은 수개월과 막대한 GPU를 요구하지만, 추론 시점의 개선은 이미 있는 모델을 그대로 쓰면서 적용할 수 있다는 점이 출발점이다.

첫 사례는 '대형 언어 원숭이(Large Language Monkeys)' 연구다. 문제 하나를 한 번만 풀게 하는 대신 열 번, 백 번, 천 번 반복해 답을 뽑고, 검증자가 그중 맞는 답을 고르게 하는 구조다. 이렇게 하면 단발 성능이 떨어지던 소형·오픈소스 모델도 훨씬 크고 비싼 모델을 앞지른다. 소프트웨어 엔지니어링 벤치마크에서는 딥시크 계열 오픈소스 모델이 1,000번 샘플링을 거치자 클로드 3.5나 o1 프리뷰보다 더 많은 문제를 풀어냈다. 코딩 문제는 유닛 테스트로 정답을 가릴 수 있어서, 사람 손을 거치지 않고도 더 강한 시스템을 만들 수 있다는 점이 중요하다.

이 향상은 예측 가능한 곡선을 그린다. 표본 수 K가 늘어날 때 커버리지, 즉 여러 표본 가운데 최소 하나가 정답인 문제의 비율은 멱법칙을 따랐고, 라마 3 계열부터 젬마와 피시아까지 7,000만에서 700억 파라미터 사이 여러 모델에서 같은 양상이 나타났다. 개별 문제 하나만 보면 pass@k는 1에서 (1-p)의 K제곱을 뺀 지수식인데, 데이터셋 전체로는 왜 멱법칙이 되는가. 강연자는 그 필요충분조건이 '아주 어려운 문제들의 긴 꼬리'가 존재하는 것이며, 실제 데이터에서도 그 조건이 성립함을 확인했다고 설명했다.

문제는 검증이다. 여러 답 중 가장 많이 나온 답을 고르는 다수결은 표본 10~50개 부근에서 성능이 정체되는 반면, 완벽한 검증자를 가정한 커버리지 곡선은 계속 올라간다. 어려운 문제일수록 정답이 1만 번 중 한두 번만 등장하기 때문에 다수결로는 잡히지 않는 것이다. 결과에 점수를 매기는 보상 모델이나 단계마다 점수를 주는 과정 보상 모델을 써도 이 격차는 크게 남는다. 강연자는 이를 '생성과 검증의 격차'라 부르며, 문제당 1만 개 표본을 담은 데이터셋을 허깅페이스에 공개했으니 이 격차를 줄이는 것이 좋은 연구 주제라고 권했다.

반복 샘플링만이 방법은 아니다. 모델이 초안을 만든 뒤 스스로 고쳐 나가는 순차 수정, 과정 보상 모델로 유망한 가지만 남기며 탐색하는 빔서치가 함께 소개됐다. 마지막으로 다룬 아콘(Archon) 프레임워크는 생성·비평·랭킹·융합 같은 추론 시점 기법과 여러 모델을 어떻게 조합할지를 베이지안 최적화로 탐색한다. 여러 답을 하나로 합성하는 '융합'은 최고의 답 하나를 완벽히 골라내는 오라클 선택보다 나은 경우까지 있었고, 이런 층을 깊이 쌓을수록 정확도가 올랐다. 그 결과 오픈소스 모델만 써서 당시 최상위 상용 모델보다 pass@1 기준 평균 14.1% 높은 성적을 냈다.

주요 인사이트

• 사전학습에 수억 달러를 쓰고 추론 한 번에는 거의 돈을 쓰지 않던 구조가, 추론에 훨씬 많은 컴퓨팅을 붓는 구조로 바뀌고 있다. 에이전트를 풀어 두고 오프라인에서 계속 답을 개선하게 하는 방식이 가능해졌기 때문이다.
• 검증자의 품질이 곧 시스템의 성능 상한이다. 유닛 테스트가 코드를 충분히 덮지 못하면 통과했지만 틀린 답이 그대로 정답으로 채택된다.
• 여러 답을 보여 주고 하나로 합성하게 하는 '융합'이 오라클 선택보다 나을 수 있다는 결과는, 정답 고르기보다 정답 만들기가 더 효과적일 수 있음을 시사한다.
• 문제 난도에 따라 순차 수정과 병렬 샘플링의 최적 비율이 달라진다. 쉬운 문제에서는 순차 수정 비중이 높을 때 정확도가 가장 좋았고, 어려운 문제에서는 최적점이 뚜렷하지 않았다.
• 과정 보상 모델은 기성품을 가져와 쓸 수도, 자기 데이터로 학습시킬 수도 있다. 과제에 맞춰 학습한 쪽이 더 잘 맞지만 언어모델 기반이라 다른 과제에도 어느 정도 통한다.

자주 묻는 질문

관련 AI 소식