추론 모델 학습 원리 정리: STaR·DeepSeek R1·GRPO와 사고 길이 문제, CMU 강의 요약

핵심 메시지

• 오늘날 추론 모델은 대체로 검증 가능한 보상을 쓰는 강화학습으로 긴 사고 사슬을 활용하도록 훈련된 모델을 뜻하며, 사고가 길수록 성능이 좋아지는 경향이 뚜렷하다.
• 초기 방식인 STaR는 정답이면 그 사고 과정을 학습 데이터로 남기고, 오답이면 정답을 힌트로 준 뒤 근거를 다시 쓰게 해 데이터를 만들었다.
• DeepSeek R1은 지도 미세조정 없이 순수 강화학습만으로도 모델이 스스로 더 길게 생각하고 자기 오류를 되짚는 행동을 익힌다는 것을 보여줬다.
• GRPO는 같은 질문에 여러 답을 뽑아 그룹 평균과 표준편차로 우위를 계산하고, PPO식 클리핑으로 학습 불안정을 막는 방식이다.
• 강화학습으로 학습한 모델은 지도 미세조정한 모델보다 다른 영역으로 잘 전이되는데, 파라미터를 훨씬 덜 건드리기 때문이라는 분석이 제시됐다.

쉽게 이해하기

카네기멜런대 그레이엄 뉴빅의 대규모 언어모델 추론 강의는 추론 모델의 정의부터 시작한다. 강의는 이를 검증 가능한 보상을 쓰는 강화학습을 통해 긴 사고 사슬을 활용하도록 훈련된 모델로 규정한다. 여기서 사고 사슬은 단순히 길기만 한 것이 아니라 스스로 앞선 가정을 되짚어 고치는 성질을 갖는다. 보상이 검증 가능하다는 말은 주로 수학 정답을 문자열로 대조하거나 코드 실행 결과를 확인한다는 뜻으로, 자유 형식 텍스트의 옳고 그름을 판정하는 것보다 훨씬 단순하다.

출발점으로 소개된 STaR는 질문에 대해 근거와 답을 함께 생성하고, 정답이면 그 사슬 전체를 학습 데이터로 남기며, 오답이면 정답을 힌트로 준 뒤 그에 맞는 근거를 다시 만들게 하는 방식이다. 이 '합리화' 단계가 없으면 자릿수가 큰 덧셈처럼 보상이 희박한 과제에서는 학습이 좀처럼 진전되지 않았다. 다만 강의는 여기서 중요한 경향을 짚는다. 지도를 과하게 주면 학습은 빨리 올라가지만 순수 강화학습보다 낮은 지점에서 멈춰 선다는 것이다.

DeepSeek R1은 기반 모델에서 곧바로 대규모 강화학습을 돌린 사례로 다뤄진다. 사고 과정과 답을 각각의 태그로 감싸라는 짧은 프롬프트만 주었는데도 모델이 형식을 어느 정도 따라 했고, 그 결과를 보상으로 학습해 아주 어려운 수학 문제에서 정확도를 크게 끌어올렸다. 학습이 진행되면서 사고에 쓰는 토큰이 수백 개에서 수천 개로 자연히 늘었고, 유도하지 않았는데도 모델이 스스로 오류를 알아채고 되돌아가는 장면이 관찰됐다. 여기서 쓰인 GRPO 손실함수는 그룹 통계로 우위를 정규화하고 확률비를 일정 범위로 잘라 학습을 안정시키는 구조라고 칠판 설명까지 곁들여 해설한다.

왜 같은 방식이 어떤 기반 모델에서는 통하고 어떤 모델에서는 통하지 않는지도 다룬다. 인용된 연구는 검증, 하위 목표 설정, 되돌아가기, 역방향 추론이라는 네 가지 인지적 행동을 꼽고, 이 행동이 애초에 많이 나타나는 모델이 강화학습에서 더 잘 자란다고 봤다. 강의는 그 차이를 학습 막바지에 고품질 데이터를 얹는 이른바 중간 학습이나 합성 데이터의 영향으로 해석하며, 같은 '기반 모델'이라도 만들어진 방식이 크게 다를 수 있다고 지적했다.

길이 문제는 실무적으로 가장 눈에 띄는 대목이다. 학습이 잘 되다가 갑자기 무너지는 현상은 응답이 최대 출력 길이를 넘겨 최종 답이 잘려 나가면서 전부 오답 처리되기 때문이었고, 이를 정답 여부와 길이를 함께 반영하는 코사인 보상으로 완화했다. 또 응답 길이 그래프가 초반 수백 스텝 동안 평평하다고 해서 수렴한 것으로 오해하면 안 된다고 경고한다. 마지막으로 수학만으로 학습해도 다른 추론 과제로 이득이 옮겨 가는지를 비교한 실험, 사고 시간을 강제로 늘리거나 끊는 기법, 탐색 알고리즘의 흔적을 사고 사슬로 바꾸는 접근, 병렬 탐색 스레드를 여는 방식이 빠르게 소개된다.

주요 인사이트

• 작은 모델이 추론 토큰을 더 쓰면 훨씬 큰 기반 모델을 앞설 수 있다. 강의는 R1의 사고 흔적을 증류한 32B 모델이 그 학습에 쓰인 원본 대형 모델보다 좋은 점수를 낸 사례를 들었다.
• GRPO는 샘플된 후보들 가운데 나쁜 것의 확률만 낮추지만, 지도 미세조정은 정답 시퀀스 하나를 올리고 사실상 나머지 전부를 낮춘다. 이 차이가 다른 도메인 지식의 손상 정도를 갈랐다.
• 학습에 쓰는 샘플은 보통 온도 1로 뽑는다. 온도를 바꿔 여러 분포에서 뽑으면 최적화하려는 정책 자체에서 샘플링한 것이 아니게 되기 때문이다.
• 보상 검증기는 모델 기반보다 규칙 기반이 더 잘 작동했고, 짧은 사고 데이터에 과도하게 노출된 모델은 긴 사고 사슬을 키우기 어려웠다.
• 사고 토큰을 늘리는 방식은 순차 길이 한계에 부딪히는데, 탐색 스레드를 병렬로 띄웠다가 부모 스레드로 결과를 합치면 전체 지연은 늘어도 정확도를 크게 올릴 수 있다.

자주 묻는 질문

관련 AI 소식