테스트 타임 컴퓨팅 스케일링 논문 리뷰: 다수결·베스트오브엔·빔서치 중 무엇이 유리한가

핵심 메시지

• 같은 질문을 여러 번 샘플링해 다수결로 답을 고르는 단순한 방법만으로도 성능이 눈에 띄게 올라간다.
• 검증 모델로 후보 답을 채점하는 베스트오브엔 방식은 다수결보다 낫지만, 앞을 내다보는 탐색은 오히려 뒤처졌다.
• 빔서치는 쉬운 문제에서 예산을 늘릴수록 보상 모델을 악용하는 과최적화 징후를 보였다.
• 쉬운 문제이고 모델을 자주 돌리지 않는다면 추론 연산 투자가 사전학습 확대보다 유리할 수 있다.
• 리뷰어는 실험 자체는 성실하지만 저자들이 뽑아낸 일반 원칙이 다른 데이터셋으로 옮겨갈지는 회의적이라고 봤다.

쉽게 이해하기

야닉 킬처는 구글 딥마인드와 UC 버클리가 함께 쓴 논문을 리뷰했다. 질문은 단순하다. 학습이 끝난 언어 모델에 추론 시점의 연산 예산이 더 주어졌을 때, 그것을 어떻게 써야 최종 답이 가장 좋아지는가. 실험은 고등학교 수준 수학 문제를 모은 벤치마크 위에서 이뤄졌다.

이 연구를 하려면 두 가지 재료가 먼저 필요하다. 하나는 답이 맞는지를 추정하는 검증 모델인데, 논문은 최종 답만 보는 것이 아니라 풀이 중간 단계까지 점수를 매기는 과정 기반 보상 모델을 따로 학습시켰다. 다른 하나는 자기 답을 반복해서 고쳐 쓰도록 미세조정한 모델이다. 리뷰어는 이 두 재료를 저자들이 직접 특수하게 만들었다는 점이 모든 결과 해석에 그림자를 드리운다고 지적했다.

비교된 방법은 크게 셋이다. 여러 답을 뽑아 가장 흔한 것을 고르는 다수결, 검증 모델 점수로 후보를 가중해 고르는 베스트오브엔, 그리고 좋은 후보 몇 개만 남겨 반복 수정해 나가는 빔서치다. 여기에 미래를 가상으로 전개해 본 뒤 그 점수로 현재 후보를 고르는 룩어헤드 탐색도 포함됐지만 성능이 낮아 이후 분석에서 제외됐고, 빔서치는 낮은 예산 구간에서만 반짝 앞섰다.

논문은 문제 난이도를 데이터셋이 제공하는 등급이 아니라 모델이 직접 여러 번 풀어 얻은 정답률로 다시 정의했다. 사람이 어렵다고 느끼는 문제와 모델이 어려워하는 문제가 다르다는 뜻이다. 이 난이도 구간별로 보면 쉬운 문제에서는 빔서치가 예산을 늘릴수록 오히려 밀렸는데, 저자들은 이를 보상 모델의 허점을 파고드는 과최적화로 해석했다.

마지막 실험은 사전학습과 추론 중 어디에 연산을 넣을지를 다룬다. 판단의 기준은 그 모델을 앞으로 얼마나 자주 돌릴 것인가다. 수많은 사용자가 계속 호출할 모델이라면 사전학습에 넣은 한 번의 투자가 모든 호출에 퍼지므로 유리하고, 실험용으로 몇 번만 돌릴 모델이라면 추론 쪽 투자가 낫다. 논문은 쉬운 문제와 낮은 호출량 조건에서 추론 연산만으로 파라미터가 14배 큰 모델을 앞설 수 있다고 주장했지만, 리뷰어는 오차 막대 없는 그래프의 요철만큼 잡음을 감안하면 방법 간 차이가 주장만큼 크지 않다고 봤다.

주요 인사이트

• 추가 연산을 쓰는 가장 값싼 방법은 여전히 같은 프롬프트를 여러 번 병렬로 샘플링해 다수결을 취하는 것이다. 별도 보상 모델도, 특수 미세조정도 필요 없다.
• 정교한 탐색이 항상 이기지는 않는다. 앞을 내다보는 롤아웃은 예산을 많이 먹는 데다 중간 모델의 잡음까지 증폭시켜 단순한 방법에 밀렸다.
• 난이도를 사람 기준이 아니라 모델의 정답률로 다시 정의해야 규칙성이 보였다는 사실 자체가, 모델이 어려워하는 문제와 사람이 어려워하는 문제가 다르다는 증거다.
• 추론 투자와 사전학습 투자의 우열은 기술이 아니라 운영 조건이 가른다. 호출 횟수가 많아질수록 사전학습 쪽으로 균형이 기운다.
• 그래프에 보이는 들쭉날쭉함을 잡음의 크기로 읽으면 결론의 강도가 달라진다. 오차 막대 없는 성능 곡선을 읽을 때 유용한 습관이다.

자주 묻는 질문

관련 AI 소식