DeepSeek-R1 강화학습만으로 LLM 추론 능력을 키우는 GRPO 원리 쉽게 해설

핵심 메시지

• DeepSeek-R1은 지도 미세조정(supervised fine-tuning) 단계를 건너뛰고, 사전학습된 DeepSeek-V3 베이스 모델에 순수 강화학습만 얹어 추론 능력을 스스로 키웠다.
• 언어모델도 하나의 '정책(policy)'으로 볼 수 있다. 프롬프트가 상태이고 다음 토큰을 고르는 것이 행동이며, 보상을 최대화하도록 정책을 학습시킨다.
• 핵심 알고리즘 GRPO는 PPO와 달리 별도의 가치 함수(value function) 모델 없이, 한 질문에 대해 여러 답을 생성해 그 보상을 정규화하는 방식으로 어드밴티지를 계산한다.
• 보상은 신경망이 아니라 규칙 기반으로 준다. 코드 문제는 실제로 실행해 통과 여부로, 수학 문제는 정답과 비교해 판정한다.
• KL 발산 제약과 클리핑으로 모델이 보상만 노리는 '보상 해킹'에 빠지거나 원래 언어 능력을 잃지 않도록 붙잡아 둔다.

쉽게 이해하기

발표자는 DeepSeek-R1 논문에서 사람들이 가장 어려워하는 부분이 강화학습이라고 보고, 언어모델과 강화학습이 어떻게 이어지는지부터 설명한다. 언어모델은 입력 프롬프트가 주어졌을 때 다음에 올 토큰의 확률 분포를 내놓는 생성 모델이고, 강화학습은 에이전트가 환경에서 보상을 최대로 얻도록 '정책'을 학습시키는 분야다. 집 안의 고양이가 빗자루와 욕조를 피해 고기에 도달하도록 훈련시키는 비유로, 상태·행동·보상·정책의 개념을 풀어낸다.

이 관점에서 언어모델도 정책이다. 프롬프트라는 상태에서 다음 토큰이라는 행동을 고르고, 우리가 설계한 보상에 따라 그 선택을 강화하거나 약화한다. 기존 인간 피드백 기반 강화학습(RLHF)은 사람이 선호하는 답을 더 자주 생성하도록 보상 모델을 학습시켰지만, DeepSeek-R1은 여기서 지도 미세조정을 생략하고 베이스 모델에 곧장 강화학습을 적용해 추론을 스스로 익히게 했다.

학습에 쓰인 GRPO는 하나의 질문에 여러 답을 생성한 뒤, 각 답의 로그 확률에 어드밴티지를 곱해 좋은 답의 확률은 높이고 나쁜 답의 확률은 낮추도록 정책을 최적화한다. PPO가 어드밴티지를 계산하려고 별도의 가치 함수 모델을 학습해야 했던 것과 달리, GRPO는 같은 그룹 안 여러 답의 보상을 평균 0·표준편차 1로 정규화해 어드밴티지를 구하므로 계산이 더 가볍다.

DeepSeek-R1의 보상은 규칙 기반이다. 코드 문제는 생성된 코드를 실제로 돌려 컴파일과 제한 시간 통과 여부로, 수학 문제는 기대 정답과 비교해 보상을 준다. 또 사고 과정을 think 태그 안에 담는 등 정해진 형식을 지키면 추가 보상을 준다. 이렇게만 해도 모델은 문제를 풀기 위한 긴 사고 사슬(Chain of Thought)을 스스로 만들어냈고, 학습이 진행될수록 응답 길이가 늘어났다.

발표자는 보상 해킹을 막는 장치도 강조한다. '공손하라'는 보상만 주면 모델이 'thank you'만 반복하며 본래 임무를 저버릴 수 있어, KL 발산으로 원래 모델에서 너무 멀어지지 않게 하고 클리핑으로 한 번에 지나치게 확신에 찬 변화를 억제한다. 순수 강화학습은 영어 문제에 중국어를 섞는 등 부작용도 낳는데, 이는 '하지 말라'고 명시하지 않으면 모델이 목표 달성을 위해 무엇이든 시도한다는 강화학습의 성질을 보여준다.

주요 인사이트

• 지도학습이 '이것을 생성하라'고만 말한다면, 강화학습은 '이건 더, 저건 덜 하라'고 방향을 줄 수 있다는 점이 R1이 추론을 스스로 키운 핵심 이유다.
• 규칙 기반 보상은 코드 실행·정답 대조처럼 검증 가능한 과제에 잘 맞아, 보상 모델을 따로 학습시키는 부담과 그 모델을 속이는 위험을 함께 줄인다.
• 보상이 답 전체에 대해 주어져도 어드밴티지 항을 통해 각 토큰으로 신호가 되돌아가, 당장의 보상뿐 아니라 장기 보상을 고려한 선택을 학습한다.
• 증류(distillation)에서는 큰 모델이 각 위치에서 만든 전체 확률 분포를 작은 모델이 따라 배우게 하는데, 정답 하나만 알려주는 것보다 훨씬 강한 학습 신호가 된다.
• 문제를 하위 단계로 나눠 채점하는 프로세스 보상 모델이나 몬테카를로 트리 탐색은 단계별 채점이 어렵거나 성과가 떨어져, 결국 규칙 기반 강화학습이 더 나은 결과를 냈다.

자주 묻는 질문

관련 AI 소식