GRPO 원리와 딥시크매스, 가치 모델 없는 강화학습이 7B 모델을 상위권에 올린 방법

핵심 메시지

• 딥시크매스 7B는 수학 문제 정확도에서 당시 GPT-4, 제미나이 울트라 같은 훨씬 큰 상용 모델과 어깨를 나란히 했다.
• 성과의 절반은 데이터다. 커먼크롤에서 fastText 분류기로 네 차례 반복 선별해 3550만 페이지, 1200억 토큰 규모의 수학 코퍼스를 만들었다.
• GRPO는 PPO에서 가치 모델을 통째로 걷어낸 변형이다. 한 질문에 여러 응답을 뽑아 그 보상들의 평균과 표준편차로 정규화한 값을 이점으로 쓴다.
• 코드로 사전학습한 모델에서 출발하는 것이 수학 성능에 유효했던 반면, arXiv 사전학습만으로는 효과가 크지 않았다.
• 강화학습은 다수결 정확도(maj@K)를 끌어올렸지만 pass@K는 올리지 못했다. 새 능력을 만들기보다 이미 있는 출력 분포를 다듬는다는 뜻이다.

쉽게 이해하기

야닉 킬허가 다룬 딥시크매스 논문은 2024년 4월에 나왔지만, 딥시크 R1의 구성 요소인 GRPO(그룹 상대 정책 최적화)를 처음 소개한 논문이다. 70억 파라미터짜리 딥시크매스 7B가 수학 벤치마크 정확도에서 당시 최상위 상용 API와 비슷한 수준에 올랐다. 물론 상용 모델은 무엇이든 하는 범용 모델이고 이쪽은 수학에 특화됐다는 단서가 붙지만, 같은 과제로 특화 학습된 다른 모델들과 비교해도 개선폭이 컸다.

접근은 두 갈래다. 하나는 데이터, 하나는 학습 알고리즘이다. 데이터 쪽에서는 합성 데이터를 만들거나 새 데이터를 생산하는 대신, 인터넷 크롤링 덤프인 커먼크롤 안에 이미 충분한 수학 데이터가 있다고 보고 그것을 대규모로 골라내는 데 집중했다. 결과물인 1200억 토큰 코퍼스는 기존 수학 특화 데이터셋보다 한 자릿수 이상 크다.

선별 과정은 반복 구조다. 작은 시드 코퍼스에서 50만 건을 양성, 커먼크롤의 무작위 웹페이지 50만 건을 음성으로 삼아 fastText 분류기를 학습하고, 점수 상위 400억 토큰만 남긴다. 다음으로 URL을 도메인 단위로 묶어 한 도메인에서 양성 판정 비율이 10%를 넘으면 그 도메인 전체를 다시 검토해 분류기가 놓친 페이지까지 코퍼스에 넣는다. 이 확장이 다음 회차의 시드가 되며, 4회차에서 데이터의 98%가 이미 수집된 것으로 확인돼 수집을 멈췄다.

본 학습은 딥시크코더 베이스 1.5 7B에서 출발했다. 자체 코퍼스가 56%를 차지하는 혼합 데이터로 5000억 토큰을 학습했고, 이어 사고 연쇄와 도구 사용을 명시적으로 가르치는 지도 미세조정을 배치 256으로 약 500스텝 진행했다. 미세조정만으로도 대부분의 오픈소스 모델을 넘어섰고, 마지막에 GRPO 강화학습을 얹자 자기보다 10배 큰 오픈소스 모델까지 앞섰다.

GRPO의 요지는 가치 모델 제거다. PPO는 이점을 구하려고 '이 상황에서 평균적으로 받을 보상'을 추정하는 별도의 대형 가치 모델을 유지해야 하는데, 이는 수십억 파라미터 모델을 하나 더 학습하고 메모리에 얹는다는 뜻이다. GRPO는 같은 질문에 대해 정책에서 여러 출력을 표본으로 뽑고, 그 보상들의 평균과 표준편차로 Z 점수 정규화한 값을 이점으로 쓴다. 그룹 안에서 상대 비교를 하기 때문에 '그룹 상대'라는 이름이 붙었고, KL 페널티도 보상에서 빼는 대신 목적함수에 직접 더한다.

주요 인사이트

• 이 논문의 실질적 교훈은 '데이터는 이미 인터넷에 있고 문제는 골라내는 방법'이라는 것이다. 해설자는 여기서 말하는 고품질이 사실상 '해당 도메인과의 관련성'에 가깝다고 지적한다.
• 반복 확장이 무한히 커지지 않고 4회차에 수렴한 점이 중요하다. 그렇지 않았다면 회차를 거듭할수록 결국 인터넷 전체를 데이터셋에 담게 됐을 것이다.
• arXiv 사전학습이 단독으로는 수학 성능에 별 도움이 되지 않았다는 결과는 시사적이다. 논문은 수학을 전달하는 글이지 문제를 단계적으로 푸는 과정을 명시적으로 담는 경우가 드물기 때문이다.
• 강화학습에서 이점을 쓰는 이유도 설명된다. 정답 라벨이 없으니 자신이 한 행동을 정답이라 가정하고 보상만큼 그 방향으로 밀어주는데, 기준선을 빼야 기대보다 잘한 행동은 양수, 못한 행동은 음수가 되어 회피 방향으로도 학습된다.
• maj@K만 개선되고 pass@K는 그대로였다는 관찰은 양날의 검이다. 필요한 데이터와 연산이 적다는 좋은 소식인 동시에, 현재 방식의 사후 학습으로 밀어 올릴 수 있는 천장이 기대보다 낮을 수 있다는 뜻이기도 하다.

자주 묻는 질문

관련 AI 소식