GRPO·RLVR로 LLM에 추론 학습시키기: 그룹 상대 정책 최적화 원리 정리

핵심 메시지

• 기본 언어 모델은 '정답'이 아니라 '그럴듯함'만 보상받도록 사전학습돼, 추론 경로가 맞는지 스스로 알지 못한다.
• GRPO(그룹 상대 정책 최적화)는 별도의 비평가(critic) 없이, 같은 질문에 여러 답을 뽑아 그 평균 보상을 기준선으로 삼는다.
• 수학·코드처럼 정답을 직접 검증할 수 있는 과제에서는 학습된 보상 모델 대신 검증기가 1/0 보상을 바로 찍어 준다(RLVR).
• 토큰 단위로 비율을 계산하는 방식은 희소 전문가 혼합(MoE) 모델에서 불안정해져, 문장(시퀀스) 단위로 바꾼 GSPO가 등장했다.
• 강화학습이 모델의 추론 능력을 '새로 확장'하는지, 이미 있던 경로에 '집중'시키는지는 아직 열린 질문이다.

쉽게 이해하기

거대 언어 모델의 기본형은 방대한 텍스트로 '다음 토큰 예측'만 하도록 학습된다. 그래서 12×7 같은 문제를 풀 때도 그럴듯한 추론 경로를 여러 개 만들어 내지만, 그중 무엇이 실제로 맞는지에 대한 신호는 학습 과정에 없었다. 모델은 '정답'이 아니라 '있음직함'에 보상받아 온 셈이다. GRPO는 바로 이 간극을 메우기 위해, 기본 모델을 보상 기반으로 후속 학습(post-training)해 '추론 정책'으로 바꾼다.

학습 루프는 단순하다. 프롬프트를 주고, 답을 뽑고, 결과를 점수 매기고, 높은 보상을 낸 행동이 더 자주 나오도록 정책을 밀어 준다. 핵심 난제는 '이 답이 좋은가'를 어떻게 숫자로 바꾸느냐다. 전통적 RLHF는 이를 위해 정책·보상 모델·비평가·고정 기준 모델까지 네 개의 신경망을 끌고 다녔는데, 이 중 보상 모델과 비평가는 오직 학습 신호를 만들기 위해 존재한다.

수학과 코드에서는 이 두 신경망을 덜어낼 수 있다. 코드를 실행하거나 최종 값을 비교하는 '검증기'가 답을 직접 확인해 보상 모델을 대신하기 때문이다(RLVR, 검증 가능한 보상 기반 강화학습). 여기서 GRPO의 발상은 거의 무례할 만큼 간단하다. 비평가를 버리고, 한 프롬프트에 여러 답을 표본으로 뽑아 그 '그룹 평균'을 기준선으로 삼는다. 어떤 답의 이점(advantage)은 그저 그 답이 그룹 평균보다 얼마나 위·아래였는지로 정해진다.

이렇게 하면 네 개였던 모델이 정책과 기준 모델 둘로 줄어든다. 다만 검증기가 존재하는 영역에서만 성립한다. 수학·코드는 검증이 싸고 정확하지만, 증명이나 에이전트 작업으로 갈수록 확인 비용이 커지고, 정답 자체가 없는 열린 글쓰기에서는 검증기를 둘 수 없다. RLVR은 이 경계에 대해 솔직하며, 검증할 수 없는 것을 푼 척하지 않는다.

영상은 또한 이 단순한 루프가 어디서 조용히 무너지는지도 짚는다. 토큰 단위로 계산되는 비율은 671B 파라미터 중 약 37B만 활성화되는 DeepSeek-V3 같은 희소 MoE 구조에서 불안정해진다. 그래서 문장 전체(시퀀스) 단위로 안정화한 GSPO(그룹 시퀀스 정책 최적화) 방식이 제시됐다. 이 지점은 더 이상 논쟁적이지 않다고 영상은 말한다.

주요 인사이트

• RLVR의 요점은 '보상을 없앤 것'이 아니라 '보상을 학습하는 과정을 없앤 것'이다. 사람이 매긴 선호를 흉내 내는 별도 신경망 대신, 실행·비교로 검증기가 보상을 직접 부여한다.
• GRPO는 '그룹이 스스로의 기준선이 된다'는 아이디어로 값(value) 모델을 제거해, 학습 대상 모델 수와 분산(variance)을 함께 줄인다.
• DeepSeek-R1-Zero처럼 지도 미세조정(SFT) 준비 단계를 건너뛰고 순수 강화학습만 적용해도, 응답 길이가 스스로 늘어나는 등 추론 행동이 '보상의 유인'에서 창발했다.
• 순수 RL만 쓰면 언어를 섞거나 형식이 뭉개져 읽기 어려운 문제가 생긴다. 그래서 R1은 소량의 콜드스타트 SFT → RL → 거절 표본(rejection sampling) SFT → 다시 RL의 4단계로 각 약점을 순차적으로 보완한다.
• 보상은 잘 되던 것에 확률을 몰아주기 때문에, 지나치면 탐색이 죽는 '정책 엔트로피 붕괴'가 온다. 강화학습의 안정성은 탐색과 활용의 균형 관리에 달려 있다.

자주 묻는 질문

관련 AI 소식