LLM 추론 모델 원리 정리: 사고 사슬, 검증 가능한 보상, GRPO까지 (스탠퍼드 CME295)

핵심 메시지

• 추론 모델은 곧바로 답을 내지 않고, 먼저 '사고 사슬'을 출력한 뒤 답을 제시한다.
• 정답 여부와 형식을 검증할 수 있는 문제(수학·코딩)에서는 사람이 만든 사고 사슬 없이도 강화학습만으로 추론 능력을 키울 수 있다.
• 추론 학습에 널리 쓰이는 GRPO는 별도의 가치 함수 없이, 같은 문제에 대한 여러 답변을 서로 비교해 우열을 매긴다.
• 딥시크 R1은 강화학습만으로 성능을 끌어올린 뒤, 언어 혼용 같은 문제를 콜드 스타트 데이터와 추가 단계로 보완하는 파이프라인으로 완성됐다.

쉽게 이해하기

지금까지의 이른바 '평범한 LLM'은 프롬프트를 받으면 곧장 답을 생성했다. 이런 모델은 텍스트와 코드의 구조를 잘 알아 디버깅이나 글쓰기에는 강하지만, 복잡한 수학 문제처럼 여러 단계를 거쳐야 하는 과제에서는 길을 잃기 쉽다. 강의는 이 한계를 극복하는 방법으로 '추론'을 다룬다. 여기서 추론은 여러 단계를 밟아 문제를 푸는 능력으로 정의되며, 주로 수학·코딩 문제가 대상이다.

핵심 아이디어는 예전에 배운 '사고 사슬(chain of thought)'을 대규모로 적용하는 것이다. 모델이 답만 내놓는 대신 풀이 과정을 함께 출력하도록 유도한다. 이렇게 하면 어려운 문제를 다루기 쉬운 하위 문제로 쪼개 학습 때 본 패턴에 연결할 수 있고, 토큰을 더 많이 생성하는 만큼 더 많은 연산을 문제에 쓰게 된다. 그래서 추론 모델의 출력은 '추론 과정 + 답'으로 이뤄진다.

추론 능력은 벤치마크로 측정한다. 코딩에서는 휴먼이발·코드포스·SWE-bench처럼 테스트 통과 여부로 정답을 검증하고, 수학에서는 AIME·GSM8K처럼 정답과 대조한다. 자주 쓰는 지표인 pass@k는 K번 시도 중 적어도 하나가 성공할 확률을 뜻하며, 강의는 이를 복원 없는 표본추출로 유도해 보인다. 답변의 다양성을 좌우하는 온도(temperature)도 결과에 영향을 줘, 논문에서는 사용한 온도를 반드시 밝힌다.

그렇다면 사고 사슬을 어떻게 대규모로 학습시킬까. 좋은 사고 사슬을 사람이 일일이 쓰는 지도학습(SFT)은 데이터 만들기가 어렵고, 모델의 사고 방식이 사람과 다를 수 있다는 문제가 있다. 반면 수학·코딩 문제에는 정답을 자동으로 확인할 수 있는 '검증 가능한 보상'이 자연히 존재한다. 그래서 사고 사슬이 없을 때는, 사고 표시 토큰의 존재 여부와 정답 여부를 보상으로 삼아 강화학습(RL)으로 모델이 스스로 생각하도록 유도한다.

이때 쓰는 알고리즘이 GRPO다. GRPO는 PPO와 마찬가지로 이점을 최대화하고 이전 모델·기준 모델에서 너무 벗어나지 않게 하지만, 이점을 계산하는 방식이 다르다. PPO는 별도로 학습해야 하는 가치 함수가 필요한 반면, GRPO는 같은 문제에 대해 답변을 여러 개 생성해 그 보상들을 서로 비교(평균 대비 상대값)하는 것으로 대체한다. 값비싼 가치 함수를 없앤 것이 GRPO의 큰 장점이다.

강의 후반부는 딥시크 사례로 이론을 잇는다. R1-제로는 지도학습 없이 검증 가능한 보상만으로 강화학습해 추론 성능을 끌어올릴 수 있음을 보였지만, 사고 과정에서 언어가 뒤섞이는 등의 문제가 있었다. R1은 이를 콜드 스타트 데이터로 정돈해 SFT를 먼저 하고, 강화학습에 언어 일관성 보상을 더한 뒤, 거부 표본추출로 고른 고품질 데이터로 다시 SFT하고, 마지막에 유용성·무해성까지 정렬하는 여러 단계를 거쳐 완성됐다. 나아가 큰 모델의 능력을 작은 모델로 옮기는 증류도 소개된다.

주요 인사이트

• 추론 모델의 출력에는 답뿐 아니라 추론 토큰도 포함되며, 사용자는 이 추론 토큰에도 요금을 낸다. 그래서 최소 토큰으로 최대 성능을 내려는 유인이 생긴다.
• 정답을 자동으로 검증할 수 있는 영역에서는 사람이 만든 풀이 없이도 강화학습만으로 추론이 학습된다는 점이 핵심 전환점이다.
• GRPO가 가치 함수를 없앨 수 있는 이유는, 같은 문제의 여러 답변을 서로 비교해 상대적 우열로 이점을 추정하기 때문이다.
• GRPO에서 출력 길이로 나누는 항이 짧은 오답을 더 크게 벌주는 편향을 만들어, 모델이 불필요하게 답을 길게 늘이는 현상을 부른다. DAPO나 Dr.GRPO는 이 항을 조정·제거해 완화한다.
• 작은 모델에서는 처음부터 강화학습으로 추론을 익히는 것보다, 큰 추론 모델의 출력을 증류하는 편이 성능 면에서 더 효율적이었다.

자주 묻는 질문

관련 AI 소식