GRPO 완전 정리: 딥시크 추론 모델을 떠받친 강화학습 알고리즘과 PPO의 차이

핵심 메시지

• GRPO는 PPO를 변형한 알고리즘이지만, 수십 년에 걸친 강화학습 연구 위에 서 있어 처음 보면 어렵게 느껴진다.
• 인터넷과 사람이 붙인 라벨을 다 쓰고 나면 더 나아질 방법이 없어지는데, 강화학습은 정답 없이 암묵적 신호만으로 학습을 이어가게 해준다.
• 수학이나 코드처럼 정답을 기계적으로 검증할 수 있는 문제에서는 맞고 틀림이라는 이진 신호를 그대로 보상으로 쓸 수 있다.
• GRPO는 액터-크리틱의 가치 모델을 버리고 같은 질문에 대한 응답 4~8개의 평균 보상을 기준선으로 삼아 메모리와 계산, 그리고 이해 부담을 동시에 줄였다.
• 중간 보상을 주는 과정 감독 실험은 GSM8K에서 소폭의 개선만 보여, 오버헤드를 정당화하기 어렵다는 것이 발표자의 판단이다.

쉽게 이해하기

GRPO(Group Relative Policy Optimization)는 딥시크가 추론 모델을 상대적으로 낮은 비용에 학습시켰다고 알려진 배경에 놓인 강화학습 알고리즘으로, 이후 큐원(Qwen) 같은 다른 모델 제공자들도 채택하기 시작했다. 영상은 알고리즘 자체가 PPO에 가한 작은 변형에 불과하지만 그 뿌리가 오래된 강화학습 연구에 닿아 있어 어렵게 느껴진다고 보고, 하이퍼파라미터를 직접 조정할 수 있을 만큼의 맥락을 쌓는 것을 목표로 삼는다. 전체 학습 파이프라인에서 GRPO의 자리를 먼저 짚자면, 무작위로 초기화된 모델이 인터넷 전체로 다음 토큰을 예측하는 사전학습을 거쳐 지식을 얻고 지시-응답 쌍으로 인스트럭션 튜닝을 받고 나면 인터넷과 사람이 붙인 라벨 예산이 모두 소진된다. 이 지점에서 강화학습이 등장하는데, 두 응답 중 더 나은 쪽을 고르게 하는 선호 미세조정에는 RLHF와 PPO, 더 가벼운 대안인 DPO가 쓰이고, 정답 검증이 가능한 문제에 쓰는 추론 미세조정에는 검증 가능한 보상 기반 강화학습이 쓰인다.

강화학습의 기본 골격은 로봇 청소기 비유로 설명된다. 에이전트가 매 시점 행동을 취해 새로운 상태로 옮겨가고 환경이 보상을 돌려주며, 한 에피소드 동안 거친 상태와 행동의 나열이 궤적이다. 언어 모델에서는 LLM이 에이전트이고 토큰 하나를 예측하는 것이 행동, 프롬프트와 지금까지 생성된 토큰이 상태다. 중학교 수준 수학 문제라면 중간 보상은 모두 0이고 마지막에 답이 정답과 일치할 때만 보상이 주어진다. 딥시크는 정답 여부뿐 아니라 형식까지 함께 채점했다. 문제는 이 숫자 하나로 궤적 전체를 거슬러 올라가 좋은 행동을 강화해야 한다는 점이고, 이것이 강화학습이 수십 년째 연구 주제인 이유다.

정책 경사법은 정책이 특정 토큰에 부여하는 확률을 높이는 방향으로 파라미터를 옮긴다. 로그 확률의 기울기에 보상을 곱해 더하는 것이 전부이며, 보상이 양수면 언덕을 오르고 음수면 내려간다. 여기에 미래 보상의 합인 리턴과 감가율을 넣으면 1992년에 발표된 REINFORCE가 된다. 이후 개선의 핵심은 기준선을 빼는 것이었다. 발표자는 세계 최고 부자가 되는 목표를 예로 든다. 제프 베조스의 위치에서 출발했다면 마지막 행동의 공로는 크지 않지만, 평범한 사람의 위치에서 출발했다면 같은 행동이 마법에 가깝다. 출발점이 행동의 가치를 좌우한다는 뜻이다.

PPO가 속한 액터-크리틱 계열은 이 기준선을 별도의 가치 함수로 추정한다. 정책이 행동을 하는 액터라면 가치 함수는 상태를 계속 평가하는 크리틱이다. 문제는 비용이다. 크리틱은 보통 LLM 크기로 초기화되므로 메모리가 두 배로 늘고 학습할 모델도 하나 더 생긴다. 발표자가 가장 큰 단점으로 꼽은 것은 실무자의 인지 부담, 즉 알고리즘이 이해하기 어려워진다는 점이다. GRPO는 기본으로 돌아가 시점별 어드밴티지 계산을 아예 포기하고 최종 보상만 쓰며, 같은 질문에 대해 궤적 4~8개를 추가로 뽑아 그 평균 보상을 공통 기준선으로 삼는다. 여기서 표준편차로 나눠 정규화하면 "그룹 상대"라는 이름의 유래가 드러난다.

딥시크가 중간 보상을 아예 시도하지 않은 것은 아니다. 응답을 추론 단계로 쪼개고 보상 모델이 단계마다 점수를 주는 과정 감독을 실험했지만, GSM8K에서의 개선 폭은 크지 않았고 발표자는 오버헤드를 감당할 만하지 않다고 평가했다. 손실 함수 쪽에서도 단순화 기조는 이어진다. 강화학습의 고질적 문제인 분산을 막기 위해 TRPO가 신뢰 영역이라는 개념을 도입했고 PPO는 이를 클리핑으로 구현했는데, 갱신 전후 확률의 비율을 1±ε 범위로 자르고 클리핑한 값과 안 한 값 중 최솟값을 취한다. 기울기가 이미 잘못된 방향으로 가고 있을 때는 제한 없이 되돌리기 위해서다. GRPO 손실은 이 PPO 손실을 그대로 쓰되, 현재 정책과 추론 미세조정 이전의 참조 정책 사이의 KL 발산 항을 추가로 뺀다. 여러 단순화로 늘어난 분산을 보정하려는 장치다.

주요 인사이트

• GRPO의 본질은 새로운 이론이 아니라 과감한 생략이다. 시점별 가치 추정을 버린 이유는 언어 영역에서는 중간 보상이 거의 없고, 있더라도 보상 모델이 부정확해 어차피 틀린 추정이라는 판단이다.
• 비디오 게임과 언어 모델의 차이가 설계를 갈랐다. 게임은 매 순간 환경이 피드백을 주지만 문장 생성은 끝까지 가봐야 잘했는지 알 수 있어, 정교한 중간 평가가 오히려 낭비가 된다.
• 크리틱 모델을 없앤 효과는 메모리와 연산 절감에 그치지 않는다. 발표자는 액터-크리틱 계열의 가장 큰 부담을 실무자가 알고리즘을 이해하기 어려워지는 것으로 꼽았다.
• PPO 클리핑에서 최솟값을 취하는 이유를 이해하면 하이퍼파라미터를 감이 아니라 근거로 조정할 수 있다. 어드밴티지와 비율이 같은 방향일 때만 과감한 갱신을 잘라내는 구조다.
• 발표자는 논문의 그리스 문자가 일종의 과시라고 표현했다. 출판을 위해 모두가 하는 게임이지만, 그 표기를 걷어내고 나면 알고리즘 자체는 훨씬 단순하다는 것이 이 영상의 결론이다.

자주 묻는 질문

관련 AI 소식