GRPO 원리 정리: PPO의 비평가 신경망을 그룹 평균과 표준편차로 대체한 강화학습 기법

핵심 메시지

• PPO로 언어모델을 미세조정하려면 정책·고정된 참조본·보상모델·비평가까지 네 개의 신경망을 동시에 메모리에 올려야 한다.
• 비평가는 정책만큼 큰 신경망이면서도 하는 일은 답변 하나당 숫자 하나, 즉 기준선을 예측하는 것뿐이다.
• GRPO는 같은 질문에 여러 답변을 한꺼번에 뽑아 그 그룹의 평균을 기준선으로 삼음으로써 비평가를 통째로 제거한다.
• 각 답변의 이점은 자기 그룹 안에서의 표준점수가 되고, 답변 하나에 붙은 점수는 그 답변의 모든 토큰이 함께 나눠 갖는다.
• 수학·코딩처럼 정답을 규칙으로 확인할 수 있는 과제에서는 학습된 보상모델조차 필요 없으며, DeepSeek-R1이 이 방식으로 훈련됐다.

쉽게 이해하기

영상은 강화학습으로 언어모델을 미세조정할 때 실제로 무엇이 메모리를 차지하는지 짚는 데서 출발한다. PPO 방식에서는 학습 대상인 정책 모델, 정책이 원본에서 너무 멀어지지 않도록 붙잡아 두는 고정된 참조본, 완성된 답변에 점수를 매기는 보상모델, 그리고 정책의 답변이 얼마나 좋을지 미리 짐작하는 비평가까지 모두 네 개가 필요하다. 이 가운데 비평가는 학습 대상 모델과 비슷한 크기의 완전한 신경망이고, 자체 기울기와 옵티마이저 상태까지 따로 들고 있어야 한다.

그런데 그 큰 신경망이 만들어 내는 것은 답변당 숫자 하나다. 강화학습에서 이점은 보상에서 기준선을 뺀 값이고, 기준선은 '이 상황에서 평범한 결과란 무엇인가'라는 질문에 답한다. 기준선을 빼도 학습 방향은 평균적으로 달라지지 않고 잡음만 상쇄되기 때문에, 운 좋은 표본과 운 나쁜 표본 사이에서 업데이트가 크게 흔들리는 일이 줄어든다. PPO는 이 기준선을 비평가에게서 얻는다.

언어 생성에서는 이 구조가 특히 부담스럽다. 모델은 토큰을 하나씩 써 나가는데 보상은 맨 마지막에 딱 한 번 주어지므로, 비평가는 절반쯤 쓰이다 만 문장을 들여다보며 최종 점수를 맞혀야 한다. 영상은 이것이 답변을 직접 쓰는 일만큼이나 어려운 예측 문제라고 지적한다. 뺄 값 하나를 얻자고 정책만 한 크기의 신경망을 따로 학습시키고 있는 셈이다.

GRPO의 해법은 예측하지 말고 측정하라는 것이다. 질문 하나에 답변을 하나만 뽑는 대신 여덟이나 열여섯처럼 여러 개를 한 묶음으로 뽑아 전부 채점하면, 그 그룹의 평균이 곧 이 질문에서 평범한 답변의 값어치가 된다. 평균보다 나은 답변은 양의 이점을, 못한 답변은 음의 이점을 받고, 그룹의 표준편차로 나눠 질문마다 달라지는 눈금을 맞춘다. 결과적으로 각 답변은 자기 형제들 사이에서의 표준점수를 받게 되며, 가치 신경망은 어디에도 남지 않는다.

나머지 알고리즘은 PPO를 거의 그대로 따른다. 새 정책과 옛 정책을 비교하는 확률비, 클리핑, 신뢰 구역 안에 업데이트를 묶어 두는 보수적 평균이 모두 동일하고, 달라지는 것은 이점을 어디서 가져오느냐뿐이다. 다만 참조 모델과의 거리를 재는 KL 항의 위치는 바뀐다. PPO는 이를 토큰마다 보상에 섞어 넣지만, GRPO에서는 보상이 그룹 안 비교에 쓰이는 순수한 품질 척도로 남아야 하므로 KL 항을 목적함수에서 직접 빼고 강도를 조절하는 계수를 따로 둔다.

주요 인사이트

• 비평가를 없앤 이득은 단순히 파라미터 수가 준 것이 아니라, 학습 가능한 신경망이 정책 하나만 남아 GPU 메모리에서 기울기와 옵티마이저 상태가 통째로 사라진다는 데 있다.
• '예측하지 말고 측정하라'는 발상은 표본을 여러 개 뽑는 추가 비용을 치르는 대신, 그 비용으로 비평가 학습이라는 더 어려운 문제를 통째로 우회하는 교환이다.
• 답변 하나가 점수 하나를 받고 그 안의 모든 토큰이 같은 이점을 공유한다는 것은, 답변 전체를 하나의 수로 취급한다는 뜻이다.
• KL 항을 보상에 섞지 않고 목적함수에서 따로 빼는 설계는, 보상이 그룹 내 비교의 잣대 역할을 겸해야 하기 때문에 생긴 필연적인 변화다.
• 정답 여부나 테스트 통과 같은 규칙으로 보상을 대체할 수 있다면 학습된 보상모델까지 사라지고, 남는 것은 여러 번 시도한 뒤 그 평균을 기준으로 삼는 절차뿐이다.

자주 묻는 질문

관련 AI 소식