GDPO 강화학습 설명: NVIDIA가 GRPO의 다중 보상 한계를 보상별 정규화로 개선

핵심 메시지

• 강화학습(RL)은 이제 대형 언어모델이 단계적 추론 능력을 갖추게 하는 핵심 학습 요소가 됐고, 2025년 초 DeepSeek-R1이 그 중요성을 널리 각인시켰다.
• DeepSeek이 쓴 GRPO(Group Relative Policy Optimization)는 크게 성공했지만 정답 여부 같은 '단일 보상' 하나를 다루도록 설계돼 있다.
• 실제 서비스에서는 정답 정확도뿐 아니라 출력 형식 준수, 안전 제약, 응답 길이 등 여러 보상을 동시에 반영해야 한다.
• 여러 보상을 단순히 더해 하나로 취급하면 서로 다른 보상 조합이 같은 학습 신호로 뭉개져 정보가 사라진다.
• NVIDIA의 GDPO는 보상마다 따로 정규화한 뒤 합치고, 배치 단위 정규화를 더해 이 정보 손실과 불안정성을 함께 해결한다.

쉽게 이해하기

강화학습은 대형 언어모델 학습의 중심 설계 요소로 자리 잡았다. 특히 모델이 긴 사고 사슬(chain of thought)을 따라 복잡한 문제를 단계별로 푸는 추론 능력을 길러내는 데 쓰인다. 이 흐름은 2025년 초 DeepSeek-R1이 강화학습이 추론 능력 형성에 결정적 역할을 한다는 점을 보여주면서 크게 번졌다.

DeepSeek이 사용한 알고리즘이 GRPO다. GRPO는 하나의 프롬프트에 대해 응답을 여러 개(G개) 뽑아 각각을 보상 모델이나 규칙으로 채점한 뒤, 그 응답이 그룹 평균보다 나은지 나쁜지를 나타내는 '어드밴티지(advantage)'를 계산해 모델을 갱신한다. 그룹 내 상대 비교로 품질을 재기 때문에 별도의 가치 모델이 필요 없다는 장점이 있다.

문제는 GRPO가 기본적으로 정답 여부 같은 단일 보상을 전제로 한다는 점이다. 그러나 실제 모델은 정답을 내는 것 이상으로 지정된 형식 준수, 구조화된 출력, 안전 제약, 응답 길이 등 다양한 인간 선호를 동시에 만족해야 한다. GRPO는 이런 다중 보상 상황을 어떻게 다뤄야 하는지 명시하지 않는다.

가장 단순한 확장은 응답별 보상을 모두 더해 하나의 보상처럼 취급하는 것이다. 하지만 영상은 간단한 예(응답 2개, 보상 2개, 각 보상은 0 또는 1)로 그 한계를 보여준다. 이 경우 GRPO 어드밴티지는 사실상 두 종류 값으로만 뭉개진다. 예컨대 상대 응답이 두 보상 모두 실패(합 0)일 때, 내 응답이 보상 하나만 만족(합 1)하든 둘 다 만족(합 2)하든 똑같은 어드밴티지가 매겨진다. 두 보상을 만족한 응답이 더 강한 학습 신호를 받아야 하는데도 정보가 사라지는 것이다.

NVIDIA의 GDPO(Group reward-Decoupled Normalization Policy Optimization)는 여기에 예비 단계를 하나 추가한다. 먼저 보상 종류별로 그룹 안에서 따로 정규화한다(정확도는 정확도끼리, 형식은 형식끼리). 이것이 이름 속 '보상 분리(reward-decoupled)'의 의미다. 그다음 보상별 정규화된 어드밴티지를 합친다. 다만 보상 종류가 늘면 합의 크기가 커져 학습이 불안정해질 수 있어, 같은 프롬프트뿐 아니라 배치 안 다른 프롬프트의 응답까지 포함한 배치 단위 정규화를 한 번 더 적용한다.

그 결과 앞선 예에서 두 종류로 뭉개졌던 어드밴티지가 세 종류로 늘어 사라졌던 정보가 복원된다. 더 현실적인 설정에서는 이 효과가 크게 확대돼, 응답 수나 보상 수가 늘수록 GDPO가 GRPO보다 훨씬 많은 어드밴티지 조합을 만들어낸다. NVIDIA는 Qwen2.5-Instruct의 1.5B·3B 버전을 미세조정해, 두 경우 모두 도구 호출 정확도와 형식 준수에서 GDPO가 뚜렷이 앞선다고 보고했다.

주요 인사이트

• GRPO의 어드밴티지가 그룹 내 '상대 비교'라는 점이 다중 보상에서는 오히려 약점이 된다. 서로 다른 보상 조합이 같은 크기의 신호로 붕괴하면서 '더 잘한 응답'이라는 정보를 잃기 때문이다.
• GDPO의 핵심은 보상을 합치기 전에 종류별로 먼저 정규화하는 순서 뒤바꿈이다. 각 보상을 마치 유일한 보상인 것처럼 GRPO 방식으로 정규화한 뒤 더한다는 점에서 '분리(decoupled)'라는 이름이 붙었다.
• 보상 종류가 많아질수록 합산 신호가 커져 학습이 흔들릴 수 있는데, 배치 전체를 아우르는 추가 정규화가 이 크기를 안정적으로 눌러 준다.
• 성능 향상이 추상적 지표가 아니라 도구 호출 정확도·형식 준수처럼 실제 에이전트 품질과 직결되는 항목에서 나타났다는 점이 실용적으로 의미 있다.

자주 묻는 질문

관련 AI 소식