GRPO와 PPO 완전 정리, LLM 추론 능력을 만들어 낸 강화학습 알고리즘의 계보

핵심 메시지

• 언어 모델의 토큰 생성을 상태·행동·정책으로 바꿔 놓으면, 수학은 정답 대조로 코딩은 단위 테스트 통과 여부로 보상을 주는 강화학습 문제가 된다.
• 정책 경사는 보상이 높았던 경로의 확률을 올리고 낮았던 경로의 확률을 내리지만, 그대로 쓰면 잡음이 커서 베이스라인 역할을 하는 가치 함수와 어드밴티지 추정이 필요하다.
• 중요도 샘플링 덕분에 이전 정책이 만들어 둔 데이터를 여러 번 재사용할 수 있게 되면서, 정책이 너무 멀리 가지 않게 잡아 주는 TRPO의 신뢰 영역과 PPO의 클리핑이 등장했다.
• GRPO는 질문 하나에 여러 응답을 뽑아 그룹 안에서 보상을 정규화해 어드밴티지를 구하므로, 별도의 가치 함수 신경망을 함께 학습시키지 않아도 된다.
• Dr. GRPO는 응답 길이로 나누는 항과 표준편차로 나누는 항을 덜어 내 길이 편향과 난이도 편향을 제거하고도 비슷한 성능을 낸다.

쉽게 이해하기

요즘 언어 모델은 수학 문제를 풀고 복잡한 코드를 작성하며 논리 퍼즐까지 다룬다. 이 영상은 그 추론 능력을 만들어 낸 강화학습 알고리즘들이 어떤 순서로 쌓여 왔는지를 기초부터 되짚는다. 출발점은 관점을 바꾸는 일이다. 질문을 첫 번째 상태로 두고 생성되는 토큰 하나하나를 행동으로 보면, 언어 모델은 상태를 받아 다음 행동의 확률 분포를 내놓는 정책이 된다.

보상은 대개 문장이 끝난 뒤 한 번만 주어진다. 수학은 정답과 맞춰 보고 코딩은 생성된 코드를 실제로 돌려 단위 테스트 통과 여부로 채점한다. 목표는 기대 보상을 가장 크게 만드는 정책 파라미터를 찾는 것이지만, 가능한 모든 경로를 더하는 계산은 불가능하다. 그래서 로그 미분 트릭으로 기대값 형태를 만든 뒤 실제로 뽑아 본 경로들로 몬테카를로 근사를 한다.

이 추정은 잡음이 심하다. 먼저 행동 이전에 이미 받은 보상은 그 행동의 공으로 돌리지 않도록 잘라 낸다. 또 보상이 전부 양수이면 모든 행동의 확률을 함께 밀어 올리게 되므로, 현재 상태에서 앞으로 기대되는 보상을 빼 주는 베이스라인을 도입한다. 이 베이스라인이 가치 함수이고, 상태 공간이 너무 커서 표로 만들 수 없기 때문에 신경망으로 근사한다. 여기에 할인율을 넣어 정리한 값이 어드밴티지이며, 한 경로만 쓰는 몬테카를로 추정과 가치 함수에 기대는 시간차 추정 사이를 매끄럽게 잇는 방법이 일반화 어드밴티지 추정이다.

정책과 가치 함수를 함께 갱신하는 액터-크리틱 구조에는 두 가지 걸림돌이 있다. 보폭을 잘못 잡으면 학습이 느리거나 한 번의 잘못된 갱신으로 회복이 어려워지고, 경사 추정이 현재 정책에 묶여 있어 응답을 여러 개 만들어도 갱신은 한 번뿐이다. 중요도 샘플링으로 이 의존을 끊으면 예전 정책이 모은 데이터를 여러 번 다시 쓸 수 있는 대리 목적 함수가 나온다. 다만 새 정책이 옛 정책에서 너무 멀어지면 추정이 무너지므로, 제약을 거는 TRPO와 그 제약을 벌점이나 비율 클리핑으로 단순화한 PPO가 이어진다.

PPO 방식은 정책망과 가치망을 동시에 학습시켜야 해서 메모리와 연산이 두 배로 든다. GRPO는 질문 하나당 응답을 여러 개 만든 뒤 그룹 안에서 보상의 평균을 빼고 표준편차로 나누어 각 경로의 어드밴티지를 정하는 방식으로 가치망 자체를 없앴다. 여기에 참조 모델과의 KL 발산 벌점을 더해 정책이 원래 모델에서 크게 벗어나지 않게 한다. 다만 응답 길이로 나누는 항 때문에 정답일 때는 짧은 답을, 오답일 때는 긴 답을 선호하는 편향이 생기고 표준편차로 나누는 항 때문에 너무 쉽거나 어려운 문제가 과대평가된다. 이 두 항을 걷어낸 변형이 Dr. GRPO다.

주요 인사이트

• 강화학습 논문의 수식은 대부분 하나의 문제를 고쳐 나간 흔적이다. 인과성 보정은 잘못된 공로 배분을, 베이스라인은 느린 수렴을, 클리핑은 과도한 갱신을 막기 위해 차례로 붙은 장치다.
• GRPO의 핵심 아이디어는 새로운 수학이 아니라 비교 대상의 교체다. 학습된 가치 함수 대신 같은 질문에서 나온 다른 응답들을 기준으로 삼아, 학습해야 할 신경망을 하나 줄였다.
• 학습 목표를 조금만 잘못 정의해도 모델은 정확도가 아니라 답변 길이 같은 엉뚱한 방향으로 최적화된다. Dr. GRPO가 지적한 길이 편향과 난이도 편향이 그 사례다.
• KL 발산 벌점은 성능이 아니라 안정성을 위한 장치다. 참조 모델의 다음 토큰 분포에서 멀어지지 않게 묶어 두어 학습 도중 모델이 무너지는 것을 막는다.

자주 묻는 질문

관련 AI 소식