테스트타임 컴퓨트 완전정복: 오픈AI o1의 사고사슬은 정말 새로운 AI 패러다임일까

핵심 메시지

• o1(코드명 스트로베리)의 핵심은 답하기 전 5~60초 스스로 ‘사고사슬’을 돌리는 것으로, 추론에 쓰는 연산을 늘리는 테스트타임 컴퓨트 개념을 대중화했다.
• 성능 향상은 수학·논리 과제에 집중됐고 영어·문학 능력은 거의 오르지 않았다 — 사고사슬은 주로 수학·논리에 이득이라는 여러 연구와 일치한다.
• 사고사슬은 테스트타임 컴퓨트의 한 형태일 뿐이며, 보상 모델·자기검증·탐색(best-of-n, 몬테카를로 트리 탐색, STaR) 등 더 정교한 방법들이 있다.
• 딥마인드 연구에 따르면 쉬운 문제는 작은 모델+추론 연산이 14배 큰 모델을 이길 수 있지만, 어려운 문제는 사전학습에 연산을 쓰는 편이 낫고 테스트타임 컴퓨트는 수확이 줄어든다.
• 테스트타임 컴퓨트는 이미 가진 지식을 끌어내 다듬을 뿐 새 지식을 얻게 하진 않으며, 사전학습 확장과 1:1로 맞바꿀 수 없다.

쉽게 이해하기

o1의 셀링 포인트는 챗봇이 답을 내놓기 전 스스로에게 먼저 말을 거는 사고사슬이다. 잠깐 ‘생각할 시간’을 준 것만으로 추론 벤치마크 점수가 크게 뛰었다. 다만 오픈AI는 API에서 실제 사고 과정 토큰을 보여주지 않아, 사용자는 보지 못하는 토큰 값을 지불하는 셈이 됐다.

흥미로운 점은 향상이 고르지 않다는 것이다. 수학·논리에서는 크게 개선됐지만 영어·문학은 거의 그대로였다. 디즈니 리서치의 메타분석 등 여러 연구는 사고사슬이 주로 수학·논리 과제에 이득이고 그 외에는 큰 차이가 없다고 지적한다. 이는 ‘문학은 생각이 필요 없다’는 뜻이 아니라, 사고사슬이 특정 유형의 과제에서만 효과가 도드라진다는 신호다.

‘프롬프트 없는 사고사슬’ 논문은 모델 안에 이미 좋은 추론 경로가 존재하는데, 확률이 가장 높은 단어만 고르는 그리디 디코딩이 그것을 지나쳐 버린다고 본다. 문장 첫 단어에서 상위 후보 여러 개를 열어 보면 사고사슬 같은 추론 경로가 드러나고, 그럴 때 모델은 최종 답에 더 높은 확신을 보였다. 또 의미 없는 ‘필러 토큰’조차 추론 중 숨은 연산을 늘려 성능을 올린다는 연구도 있다.

테스트타임 컴퓨트는 사고사슬보다 훨씬 넓다. 보상 모델, 자기검증, best-of-n 샘플링, 몬테카를로 트리 탐색, STaR(스스로 학습하는 추론기) 같은 방법을 아우른다. 발표자는 우리가 흔히 아는 사고사슬이 사실 가장 비효율적인 축에 든다고 말한다.

딥마인드의 ‘테스트타임 컴퓨트를 최적으로 확장하면 파라미터 확장보다 효과적일 수 있다’ 논문은 연산량을 맞춰 비교했다. 쉬운 문제에서는 작은 모델에 추론 연산을 더한 쪽이 14배 큰 모델을 이겼지만, 어려운 문제에서는 사전학습에 연산을 쓴 큰 모델이 크게 앞섰다. 즉 테스트타임 컴퓨트는 이미 배운 지식을 끌어내 정제할 뿐, 사전학습이 주는 새 지식을 대체하지 못한다.

주요 인사이트

• ‘생각을 더 오래 하게 한다’는 건 만능이 아니다. 수학·논리엔 통하지만 문학·언어처럼 다른 성격의 과제엔 효과가 미미하다.
• 사고사슬이 통하는 이유가 반드시 ‘추론을 언어로 펼쳐서’는 아닐 수 있다. 필러 토큰 실험은 답을 내기 전 추가된 숨은 연산 자체가 성능을 올린다는 점을 시사한다.
• 테스트타임 컴퓨트는 크게 두 갈래다. 여러 답을 만든 뒤 보상 모델로 고르는 ‘검증기 대상 탐색(사후 필터링)’과, 모델이 스스로 출력을 단계적으로 고치는 ‘제안 분포 수정(RL 계열)’이다.
• 추론 연산의 비중이 사전학습 연산을 넘어서면 수확이 줄어든다. 테스트타임 컴퓨트는 사전학습 확장과 등가 교환이 아니며, 문제 난도에 따라 어디에 연산을 쓸지가 갈린다.
• 지나친 자기검증이나 과도하게 엄격한 보상 모델은 오히려 성능을 떨어뜨린다 — ‘과잉 사고’와 ‘과도한 개입’은 역효과를 낸다.

자주 묻는 질문

관련 AI 소식