GRPO 강화학습 직접 구현: 소형 언어모델에 단계별 추론 능력을 학습시키는 방법

핵심 메시지

• GRPO는 딥시크가 R1 추론 모델을 학습시킬 때 사용한 강화학습 알고리즘으로, 한 질문에 대해 여러 답변을 뽑은 뒤 그 그룹 안에서의 상대적 우열을 학습 신호로 쓴다.
• 발표자는 1억 3,500만 파라미터짜리 소형 모델에 삼단논법·명제논리 과제를 학습시켜 정확도를 45%에서 61%로 끌어올렸고, 더 큰 소형 모델에서는 81%까지 나왔다.
• 보상은 정답 여부뿐 아니라 지정한 태그 형식을 지켰는지에도 주어지며, 답이 틀려도 형식을 지키면 부분 점수를 받는다.
• 강화학습만으로는 시작이 어렵기 때문에 먼저 지도학습(SFT)으로 원하는 출력 형식을 가르치는 준비 단계가 사실상 필수다.
• 보상이 전부 같으면 학습 신호가 0이 되므로, 답변의 다양성을 확보하는 것이 강화학습 성공의 핵심 조건이다.

쉽게 이해하기

딥시크 R1 이후 '생각하는 모델'은 대형 모델의 전유물처럼 여겨졌다. 한 딥러닝 유튜버는 이 통념을 직접 실험으로 확인해보기로 하고, R1 학습에 쓰인 GRPO(그룹 상대 정책 최적화) 알고리즘을 라이브러리 없이 밑바닥부터 구현했다. 대상은 1억 3,500만 파라미터짜리 아주 작은 명령어 튜닝 모델이었다. 그는 이 프로젝트가 채널에서 다룬 작업 중 가장 어려웠으며, 여러 논문과 오픈소스 코드를 뒤지고 GPU 크레딧을 거의 소진한 끝에야 이해가 잡혔다고 털어놓는다.

실험 과제는 두 가지다. 하나는 두 전제를 주고 결론이 옳은지 예/아니오로 답하게 하는 삼단논법이고, 다른 하나는 기호를 주고 결론 자체를 만들어내야 하는 명제논리 과제다. 후자가 훨씬 어렵다. 문제 생성과 채점은 reasoning gym이라는 라이브러리가 맡는다. 모델에는 생각 과정을 think 태그 안에, 최종 답을 answer 태그 안에 쓰라는 시스템 프롬프트를 준다. 큰 상용 모델은 별도 예시 없이도 이 형식을 잘 지켰지만, 1억 파라미터급 모델은 추론도 틀리고 형식도 지키지 못해 답을 추출하는 것조차 되지 않았다.

GRPO는 경험 수집과 학습, 두 단계를 반복한다. 먼저 질문을 뽑아 한 질문마다 여러 개의 답변을 확률적으로 샘플링하고, 채점기가 각 답변에 보상을 준다. 이때 보상은 정답 여부와 형식 준수를 함께 반영해, 답이 틀려도 태그를 제대로 썼다면 일부 점수를 받는다. 그다음 같은 질문에서 나온 답변들의 보상을 평균 0, 표준편차 1로 표준화해 '이 답변이 형제 답변들에 비해 얼마나 나았는가'라는 상대적 이점을 구한다. 그룹 안에서의 상대 비교라는 뜻에서 이름에 '그룹 상대'가 붙었다.

학습 단계에서는 이점이 양수인 토큰의 확률은 높이고 음수인 토큰의 확률은 낮춘다. 다만 한 번에 너무 크게 움직이면 학습이 무너지므로, 경험을 모을 때의 옛 정책과 현재 정책의 확률 비율을 일정 범위 밖으로 못 나가게 잘라내는 클리핑 항이 들어간다. 발표자는 학습 전후의 토큰 로그 확률을 그래프로 비교해, 보상이 높았던 답변의 토큰들은 실제로 더 자주 뽑히는 쪽으로, 낮았던 토큰들은 덜 뽑히는 쪽으로 움직였음을 보여준다.

결과는 뚜렷했다. 약 200개 예시로 LoRA 지도학습 준비를 마친 모델이 45% 정확도를 보였는데, GRPO를 거치자 61%로 올랐다. 3억 6,000만 파라미터 모델과 6억 파라미터급 오픈 모델에서도 비슷한 향상 폭이 나타났고, 후자는 81%에 도달했다. 강화학습은 '어떻게 추론하라'고 알려주지 않는다. 최종 답이 맞았는지만 알려줄 뿐인데도 모델이 스스로 단계별 사고를 익힌다는 점이 이 방식의 핵심이다.

주요 인사이트

• 강화학습의 성패는 보상의 다양성에서 갈린다. 모든 답변이 다 맞거나 다 틀리면 상대적 이점이 0이 되어 학습 신호 자체가 사라지므로, 보상의 표준편차를 로그로 감시하고 필요하면 샘플링 온도나 생성 개수를 늘려야 한다.
• 작은 모델에는 지도학습 준비가 사실상 필수다. 기본 정확도가 10~20%에도 못 미치는 과제라면 강화학습을 걸어도 성공 사례가 거의 나오지 않아 학습이 진행되지 않는다.
• 추론 학습 연구는 아직 정리되지 않았다. 원 논문은 학습이 진행될수록 출력이 길어지는 현상을 지능의 증거로 봤지만, 후속 논문들은 이를 길이 편향 문제로 보고 손실 정규화 방식과 KL 항의 필요성 자체를 다시 따지고 있다.
• 학습을 안정시키는 방법은 대체로 계산 비용과의 교환이다. 생성 개수와 버퍼 크기를 늘리고 학습률을 낮추면 안정성은 오르지만 그만큼 자원이 더 든다.
• 긴 학습에서는 최종 모델이 최고 모델이 아닐 수 있다. 보상이 전반적으로 높아지면 이점 분포가 좁아져 학습이 제자리에서 흔들리므로, 학습 도중 주기적으로 성능을 측정해 가장 좋은 상태를 붙잡아둬야 한다.

자주 묻는 질문

관련 AI 소식