DAPO 논문 해설: GRPO를 개선한 오픈소스 LLM 강화학습 시스템의 네 가지 기법

핵심 메시지

• 딥시크 R1은 대규모 강화학습으로 긴 사고 사슬 추론을 대중화했지만 세부 사항이 불명확해 재현이 어려웠고, 연구진의 첫 시도는 AIME 2024에서 30점에 그쳤다.
• DAPO는 GRPO 위에 네 가지 기법을 얹어 같은 베이스 모델로 50점을 기록했고, 학습 스텝은 절반만 썼으며 데이터셋과 코드도 함께 공개됐다.
• 클리핑 상한만 0.2에서 0.28로 높인 Clip-Higher는 모델이 특정 답에만 확신을 몰아주는 엔트로피 붕괴를 막는다.
• 모두 맞히거나 모두 틀린 질문은 학습 신호가 사라지므로, 동적 샘플링으로 걸러 내고 새 질문으로 배치를 채운다.
• 손실을 응답 단위가 아니라 토큰 단위로 평균 내고, 길이 초과로 잘린 응답에는 필터링이나 완만한 벌점을 적용해 좋은 긴 추론이 억울하게 처벌받지 않게 했다.

쉽게 이해하기

대형 언어 모델은 수학 경시와 코딩처럼 복잡한 추론 과제에서 눈에 띄는 진전을 보여 왔다. 다만 강력한 추론 모델들은 폐쇄형이고 학습 방법의 세부가 공개되지 않아 연구 커뮤니티가 그대로 따라 하기 어려웠다. 딥시크 R1이 대규모 강화학습으로 긴 사고 사슬 추론을 대중화한 뒤에도 학습 과정의 일부 세부는 불투명해, 결과를 재현하려는 시도마다 벽에 부딪혔다.

이 영상이 다루는 논문은 바이트댄스가 공개한 DAPO, 즉 '대규모 오픈소스 LLM 강화학습 시스템'이다. 연구진이 처음 R1 재현을 시도했을 때 AIME 2024 벤치마크에서 30점에 그쳤고, 이는 R1이 기록한 47점과 큰 격차였다. 물론 학습에 쓴 데이터셋이 달랐다는 변수도 있지만, 논문의 초점은 강화학습 알고리즘과 학습 과정을 개선하는 데 맞춰져 있다. 결과적으로 DAPO는 같은 베이스 모델로 50점을 기록해 R1을 앞섰고, 학습 스텝은 절반만 사용했다. 데이터셋과 코드도 함께 공개돼 재현이 가능해졌다.

DAPO를 이해하려면 GRPO와 공유하는 두 개념을 알아야 한다. 하나는 정책 비율로, 학습 한 스텝 전후에 같은 응답이 나올 확률의 비다. 값이 1보다 크면 모델이 그 응답을 더 확신하게 됐다는 뜻이다. 다른 하나는 어드밴티지로, 한 질문에 여러 응답을 뽑고 각각에 보상을 매긴 뒤 평균 대비 얼마나 좋은지를 나타낸다. 양수면 평균보다 나은 응답이라 그 방향으로 모델을 밀고, 음수면 반대 방향으로 민다.

첫 번째 기법은 Clip-Higher다. 클리핑은 한 번의 학습 스텝이 모델을 급격히 흔들지 못하게 막는 안정화 장치인데, 연구진은 이것이 엔트로피 붕괴를 부른다는 점을 발견했다. 이미 확률이 높은 응답이 계속 유리해지고 확률이 낮은 응답은 여러 번 업데이트를 거쳐야 올라올 수 있어 탐색이 줄어드는 것이다. DAPO는 하나의 하이퍼파라미터가 상한과 하한을 함께 정하던 구조를 분리해 상한만 0.2에서 0.28로 올렸다. 하한을 건드리지 않은 이유는 가능성이 낮은 토큰의 확률이 0으로 죽는 것을 피하기 위해서다. 실험에서는 정확도가 오르고 엔트로피가 급락하는 현상이 사라졌다.

두 번째는 동적 샘플링이다. 규칙 기반 보상에서는 정답이면 1, 아니면 -1처럼 값이 고정되는데, 한 질문에 뽑은 응답이 전부 정답이면 보상이 모두 같아진다. 어드밴티지는 평균을 빼서 구하므로 이때 값이 0이 되고 학습 신호가 사라진다. 모델이 강해질수록 이런 질문이 늘어 실질 배치 크기가 줄고 분산이 커진다. DAPO는 전부 맞히거나 전부 틀린 질문을 걸러 내고 새 질문을 뽑아 배치를 채운다. 이렇게 더 뽑아도 학습이 느려지지 않았고, 오히려 같은 성능에 도달하는 데 3분의 1의 스텝이면 충분했다.

세 번째는 토큰 단위 손실이다. 강화학습에서 보상은 응답 전체에 한 번 주어지지만, 모델은 토큰을 하나씩 생성하므로 손실은 토큰 단위로 전파돼야 한다. GRPO는 토큰별 손실을 응답 길이로 나눠 응답 단위로 평균한 뒤 다시 응답들끼리 평균하는데, 그러면 길이와 무관하게 모든 응답이 같은 무게를 갖는다. 그 결과 길고 품질 좋은 응답에서 추론 패턴을 배우는 속도가 느려지고, 길고 나쁜 응답은 충분히 처벌받지 않는다. DAPO는 나눗셈을 계산 마지막으로 옮겨 같은 질문의 모든 토큰 손실을 함께 평균한다. 실험에서 엔트로피가 비정상적으로 치솟는 현상이 줄고 응답 길이도 초반에 급등하지 않고 완만하게 늘었다.

네 번째는 지나치게 긴 응답에 대한 처리다. 최대 길이를 넘긴 응답은 잘리고 최종 답에 도달하지 못했으니 음의 보상을 받는데, 잘리기 전까지의 추론은 멀쩡할 수 있다. 좋은 추론을 하고도 벌을 받으면 모델이 혼란스러워진다. 연구진은 두 가지 방법을 검토했다. 하나는 잘린 응답으로는 아예 업데이트하지 않는 필터링으로, 정확도와 학습 안정성이 모두 좋아졌다. 다른 하나는 일정 길이를 넘어서면 작은 벌점부터 시작해 길어질수록 키우는 완만한 처벌이다.

어블레이션 표는 이 기법들이 어떻게 쌓이는지 보여 준다. 딥시크 R1이 47점, 초기 GRPO 학습이 30점에서 출발해 기법을 하나씩 더할 때마다 점수가 올라 최종 50점에 도달했다. 마지막으로 영상은 표에 없는 변경 하나를 덧붙인다. GRPO 목적 함수에 있던 KL 발산 항을 DAPO는 제거했다. 이 항은 모델이 사전학습 모델에서 너무 멀어지지 않게 붙잡는 역할인데, 긴 사고 사슬 추론을 위한 강화학습에서는 분포가 초기 모델에서 크게 벗어나는 것이 자연스러워 이 제약이 필요하지 않다는 것이 논문의 설명이다.

주요 인사이트

• 재현 실패의 원인을 알고리즘 하나로 몰지 않고 데이터셋 차이 같은 변수를 함께 밝힌 점이, 결과를 읽는 방식 자체를 더 정확하게 만든다.
• 네 가지 기법은 모두 '학습 신호를 잃지 않게 하는 것'이라는 한 방향을 향한다. 탐색을 죽이지 말 것, 신호 없는 샘플을 배치에 넣지 말 것, 길이가 신호를 왜곡하지 않게 할 것으로 요약된다.
• 동적 샘플링이 스텝 수를 오히려 줄였다는 결과는, 데이터를 더 뽑는 비용보다 쓸모없는 샘플에 스텝을 낭비하는 비용이 크다는 점을 보여 준다.
• 손실을 응답 단위로 평균할지 토큰 단위로 평균할지는 사소해 보이는 구현 선택이지만, 긴 추론을 학습하는 모델에서는 학습 속도와 안정성을 좌우한다.
• KL 발산 항 제거는 사전학습 모델과의 거리를 유지하는 것이 항상 미덕은 아님을 보여 준다. 목표가 긴 추론이라면 분포가 멀어지는 것 자체가 학습의 일부다.

자주 묻는 질문

관련 AI 소식