s1 논문 해설: 예시 1,000개와 'wait' 트릭으로 LLM 추론 성능 끌어올리기

핵심 메시지

• s1 논문은 강화학습 없이, 잘 고른 예시 1,000개만으로 LLM이 추론 사슬을 출력하게 만들 수 있음을 보였다.
• 학습 데이터는 다른 모델(제미나이 플래시 씽킹)의 추론 과정을 증류(distillation)해 만든다.
• 5만 9천 개의 어려운 문제에서 형식 오류를 제거하고, 어렵고 다양하며 추론이 긴 예시 1,000개로 추렸다.
• "budget forcing"은 종료 토큰을 "wait"로 바꿔 모델이 스스로 답을 재검토하게 만드는 test-time 트릭이다.
• 더 나은 답을 위해 추론을 늘리면 추론 시점의 계산 비용이 커진다는 트레이드오프가 있다.

쉽게 이해하기

레티티아는 딥시크 R1처럼 사고 과정을 출력하는 추론 모델을 만들려면 보통 거대한 모델과 방대한 데이터, 강화학습이 필요하다고 설명한다. 그런데 s1 논문은 강화학습 없이 다른 모델의 출력만으로 지도 미세조정(SFT)을 해도, 그것도 단 1,000개의 예시만으로 인상적인 추론 성능을 얻을 수 있음을 보였다. 딥시크 R1이 80만 개로 학습한 것과 대비된다.

핵심은 어떤 1,000개인가에 있다. 저자들은 수학·생물·화학·물리·천문 올림피아드와 SAT·LSAT 같은 시험에서 5만 9천 개의 까다로운 문제를 모아, 구글 제미나이 플래시 씽킹 모델로 추론 과정을 생성했다. 이어 아스키 아트나 깨진 이미지 참조 같은 형식 문제를 제거하고, Qwen 2.5의 7B·32B가 이미 풀 수 있는 쉬운 문제는 빼고, 과목별로 고르게 뽑되 추론이 긴 예시를 선호하는 방식으로 1,000개까지 줄였다.

이렇게 고른 예시로 Qwen 2.5 32B 모델을 다음 토큰 예측만으로 미세조정해 s1을 만들었다. 강화학습은 전혀 쓰지 않았고, 제미나이가 만든 추론 사슬을 학습했다는 점에서 이는 증류에 해당한다. 결과적으로 MATH500에서 92.6%로 o1-preview(85.5%)를 앞서고 o1(94.8%)에 근접했으며, 더 어려운 AIME24에서는 50%로 o1-preview(44.6%)보다 높았지만 o1(74.4%)에는 미치지 못했다.

여기에 저자들은 test-time scaling으로 정확도를 더 끌어올렸다. 이름은 거창하지만 방법은 단순하다. 모델이 너무 일찍 사고를 끝내려 하면 종료 토큰을 "wait"라는 단어로 바꿔치기한다. 그러면 자기회귀 생성 특성상 모델은 자신의 출력을 다시 입력으로 받아 사고를 이어가고, 사람이 "잠깐"이라고 쓴 뒤 답을 재고하던 습관을 학습한 덕에 답을 다시 점검하며 실수를 바로잡는다. 이 기법을 "budget forcing"이라 부른다.

이 트릭으로 AIME24 정확도는 50%에서 56.7%로 뛰었고, MATH500은 92.6%에서 93%로 소폭 올랐다. s1의 의미는 크다. 수백만 개의 예시가 없어도 잘 고른 1,000개로 고성능 추론이 가능해져, 데이터 자원이 부족한 개인이나 소규모 조직에도 문이 열린다. 다만 "wait"로 추론을 길게 늘리면 그만큼 추론 시점의 계산량과 비용이 늘어난다는 트레이드오프가 남는다.

주요 인사이트

• 데이터의 양보다 "무엇을 고르느냐"가 결정적일 수 있다. 어렵고 다양하며 추론이 긴 1,000개가 80만 개에 필적하는 효과를 냈다.
• 증류(다른 모델의 추론 출력으로 학습)와 지도 미세조정만으로도 강화학습 없이 추론 능력을 얻을 수 있다.
• budget forcing은 종료 토큰을 "wait"로 바꾸는 것만으로 모델이 스스로 답을 재검토하게 만드는 놀랍도록 단순한 test-time 기법이다.
• 추론 성능과 추론 비용은 맞바꿈 관계다. 더 오래 생각하게 할수록 토큰 비용이 늘어난다.

자주 묻는 질문

관련 AI 소식