GRPO 실습 정리: 딥시크 R1 방식의 강화학습을 무료 코랩에서 작은 모델로 재현하기

핵심 메시지

• GRPO는 정답 예시를 베끼게 하는 지도학습과 달리, 모델이 스스로 낸 답에 점수를 주며 학습시키는 강화학습 방식이다.
• 실습에서는 초등 수준 문장제 수학 데이터셋을 쓰고, 형식 보상과 정답 보상 두 가지를 함께 준다.
• 한 프롬프트에 여러 개의 답을 동시에 생성해 서로 비교하는 것이 이 알고리즘의 핵심 구조다.
• 보상만 좇다 엉뚱한 편법으로 흐르는 것을 막기 위해, 원래 모델을 참조 모델로 두고 변화 폭을 제한한다.
• 작은 모델에서는 개선의 상당 부분이 추론력이 아니라 형식 준수에서 나왔고, 딥시크 논문에서도 지도 미세조정을 섞은 조합이 가장 좋았다.

쉽게 이해하기

발표자는 딥시크의 추론 모델 R1을 둘러싼 관심을 출발점으로, 강화학습과 추론이 어떻게 맞물리는지 감각을 얻을 수 있는 공개 노트북을 소개한다. 무료 구글 코랩의 T4 GPU만으로도 돌아가도록 정리된 예제이며, 다른 이들이 만든 노트북을 바탕으로 손을 본 것이라고 출처를 분명히 밝힌다. 전통적 지도학습이 예시를 잔뜩 주고 베끼게 하는 방식이라면, 여기서는 예시 대신 점수를 준다.

학습 데이터는 7,000여 개 표본이 담긴 GSM8K로, 초등 수준 문장제 수학 문제라 정답이 하나로 명확하다는 점이 보상 설계에 유리하다. 데이터에는 문제와 정답뿐 아니라 단계적으로 풀어 가는 사고 과정 예시도 들어 있어, 모델이 한 번에 답을 내지 않고 여러 단계를 거쳐 생각하도록 유도한다. 보상은 두 종류인데, 응답이 정해진 형식을 지키면 한 점을 주는 형식 보상과 생성한 답이 데이터셋 정답과 같으면 두 점을 주는 정답 보상이다. 형식 보상은 시험에서 답이 틀려도 풀이 과정을 적으면 부분 점수를 받는 것과 같은 취지이며, 학습은 허깅페이스의 GRPO 트레이너로 진행하고 실험 추적 도구로 보상 곡선이 올라가는 과정을 관찰한다.

모델은 파라미터 5억 개 규모의 작은 공개 모델을 쓴다. 기초 수학은 이미 어느 정도 이해하고 있어 강화학습을 얹기에 적합하고, 실제 R1급 모델은 GPU 여러 장짜리 클러스터가 필요해 코랩에서는 다룰 수 없기 때문이다. 학습 중에는 한 문제에 대해 16개의 답을 동시에 생성하고, 각 답에 형식과 정답 점수를 매겨 집계한다. 발표자는 생성 개수와 배치 크기를 줄이고 정답 판정 함수를 고쳐, 개별 생성 결과를 하나하나 들여다보는 방식으로 알고리즘을 관찰한다.

관찰 결과는 흥미롭다. 어떤 생성은 길게 추론했지만 형식을 지키지 않아 답을 추출할 수 없어 점수를 받지 못하고, 다른 생성은 추론과 형식을 모두 갖춰 정답에 이른다. 같은 문제를 두고 모델이 서로 다른 접근을 시도한다는 점이 눈에 보인다. 발표자는 강화학습의 고질적 문제로 보상 해킹을 언급하며, 로봇이 병을 잡지 않고 손만 스쳐 점수를 챙긴 사례를 예로 든다. 이를 막는 장치가 참조 모델이고, 변화가 지나치면 제동을 거는 KL 발산 항이 그 역할을 한다.

영상을 올린 다음 날 발표자는 세 가지 단서를 덧붙였다. GRPO가 만능이거나 다른 알고리즘을 대체하는 것은 아니라는 점, 딥시크 논문에서도 강화학습만 쓴 결과는 좋았지만 최고 성능은 지도 미세조정과 섞었을 때 나왔다는 점, 그리고 작은 모델에서는 개선의 대부분이 형식 준수에서 왔고 추론 능력 자체가 크게 늘지는 않았다는 점이다. 작은 모델에는 오히려 강화학습이 남긴 사고 과정 기록으로 지도 미세조정을 하는 방식이 유용했다고 정리한다.

주요 인사이트

• 정답이 명확한 과제는 보상을 기계적으로 계산할 수 있어 강화학습 실습의 출발점으로 적합하다. 보상 설계 난이도는 과제의 채점 가능성에 달려 있다.
• 여러 답을 한꺼번에 생성해 서로 비교하는 구조 덕분에 별도의 가치 모델 없이도 상대적 우열로 학습 신호를 만든다.
• 참조 모델은 성능 장치가 아니라 안전장치다. 어댑터만 학습하는 방식에서는 원본 모델이 그 역할을 대신할 수 있다는 점도 실무에서 중요하다.
• 같은 기법이 1년 전에는 통하지 않았다는 언급은, 강화학습의 효과가 기반 모델의 기초 능력에 얹혀서만 발현된다는 사실을 보여 준다.
• 작은 모델의 개선분이 주로 형식에서 왔다는 자기 검증은, 벤치마크 점수 상승을 곧 추론력 향상으로 읽는 습관을 경계하게 한다.

자주 묻는 질문

관련 AI 소식