테스트타임 컴퓨트 스케일링이란: 딥마인드 연구자가 짚은 추론 모델의 성과와 남은 한계

핵심 메시지

• 2024년까지 대형 언어모델의 향상은 주로 사전학습 연산 확대에서 나왔지만, 이후에는 답하기 전에 더 오래 생각하게 하는 추론 시점 연산이 새로운 축이 됐다.
• 생각할 시간을 늘리면 수학·코딩·과학 벤치마크 성능이 예측 가능하게 함께 올라간다는 점이 이 접근의 핵심 매력이다.
• 검증 가능한 문제로 강화학습을 돌리면 응답 길이가 자연스럽게 길어지며 추론 능력이 스스로 나타난다.
• 다만 검증 가능한 문제는 금방 고갈되고, 어려운 영역일수록 채점이 어려워지는 것이 확장의 실질적 병목이다.
• 강연자는 문제를 푸는 능력과 달리 '어떤 문제가 중요한지 찾는 능력'과 '경험으로 나아지는 능력'은 아직 비어 있다고 봤다.

쉽게 이해하기

이 강연은 ETH 취리히의 로봇 학습 수업에 초청된 구글 딥마인드 연구자 아르키트 샤르마의 발표다. 그는 언어모델 정렬에 널리 쓰이는 DPO 알고리즘을 만들었고, 국제수학올림피아드 문제에서 금메달 수준에 도달한 제미나이 딥싱크 개발을 이끌었다. 발표 주제는 모델이 답을 내놓기 전에 쓰는 연산, 즉 테스트타임 컴퓨트를 어디까지 키울 수 있는가다.

2024년까지 성능 향상의 대부분은 사전학습 연산을 키우는 데서 나왔다. 그런데 2024년 말부터 등장한 추론 모델들은 즉답 대신 문제를 되짚고 도구를 호출하며 시간을 쓴다. 발표에서 인용한 제미나이 2.5 보고서를 보면, 생각하는 시간을 가로축에 두었을 때 고교 수준 수학 경시 문제 벤치마크에서 정확도가 20퍼센트포인트 넘게 올랐고 경쟁 프로그래밍·과학 지식 벤치마크에서도 같은 경향이 나타났다.

테스트타임 컴퓨트라는 개념 자체는 새롭지 않다. 신경망 한 번의 순전파는 고정된 양의 계산만 쓰지만, 알파고는 같은 모델에 최대 5초짜리 탐색을 얹는 것만으로 Elo 3,000에서 5,000으로 올라섰다. 문제는 바둑처럼 승패가 명확한 환경에 맞춘 이 방식을 언어모델에 어떻게 옮기느냐였고, 답은 생각의 사슬이었다. 답을 바로 요구하는 대신 중간 과정을 자연어로 풀어 쓰게 하면 정확도가 올라간다는 것이다.

여기서 한발 더 나아간 것이 검증 가능한 보상으로 강화학습을 돌리는 방식이다. 정답을 알 수 있는 수학 문제나 단위 테스트가 있는 코드처럼 채점이 되는 영역에서 학습시키면, 학습 곡선에서 응답 길이가 저절로 길어지고 정확도는 15~25퍼센트대에서 75~80퍼센트대로 올라간다. 추론 능력이 설계된 게 아니라 강화학습 과정에서 창발한 셈이다. 확장 방법도 생각의 사슬 하나만 있는 게 아니어서, 여러 갈래를 병렬로 생각하게 하거나 자기 답을 반복 수정하게 하거나 웹 검색·코드 실행 같은 도구를 붙이는 길이 있다. 제미나이 딥싱크는 이런 시스템의 사례다. 아주 어려운 수학 증명 문제에서 추론 연산을 로그 스케일로 늘리자 전문가가 채점한 증명 정확도가 40퍼센트대에서 90퍼센트 가까이 올라갔는데, 이때 모델은 답을 내기까지 몇 시간을 쓴다. 효과는 채점이 명확한 영역에만 머물지 않았다. 벚꽃과 탑이 있는 복셀 장면을 HTML로 만들라는 과제에서도 연산을 늘릴수록 디테일이 눈에 띄게 풍부해졌다.

발표 후반은 남은 문제로 채워졌다. 토큰과 도구를 효율적으로 쓰는 법은 아직 열려 있고, 며칠씩 일하는 에이전트가 잘못된 방향에 갇히지 않고 계속 전진하는지 어떻게 측정하고 보장할지도 과제다. 그는 리만 가설이나 신약·암 치료처럼 계산을 대량으로 투입할 가치가 충분한 문제들이 있다고 봤지만, 동시에 이 방향만으로는 부족하다고 말했다. 모델은 잘 정의된 문제는 잘 풀지만 어떤 문제가 중요한지 판단하기 어려워하고, 사람처럼 경험을 쌓아 다음번에 지름길을 택하는 능력도 아직 초보 단계라는 것이다.

주요 인사이트

• 추론 시점 연산 확장은 사실상 계산의 '깊이'를 늘리는 일이라, 사전학습에서 층을 깊게 쌓아 얻던 이득과 같은 계열의 효과로 볼 수 있다.
• 성능이 연산량에 따라 예측 가능하게 오른다는 점이 연구자들에게 매력적인 이유이며, 제품 개발 비용을 엔지니어 수 대신 추론 연산으로 환산하는 관점을 낳는다.
• 강화학습 확장의 실제 난관은 알고리즘보다 인프라와 데이터다. 학습이 발산하지 않게 만드는 일, 그리고 쉬운 문제가 신호를 잃은 뒤 쓸 어려운 문제를 확보하는 일이 병목이다.
• 증명처럼 어려운 영역은 채점 자체가 어렵고 보상 해킹의 여지도 생겨, 검증 가능성이라는 전제가 흔들린다.
• 메모리나 스킬처럼 과거 작업을 재사용하는 장치가 등장했지만 아직 대부분 수작업이며, 경험으로 개선되는 에이전트는 남은 연구 공간이 크다.

자주 묻는 질문

관련 AI 소식