VCRL 논문 리뷰: 분산 기반 커리큘럼 강화학습으로 LLM 수학 추론 성능 끌어올리기

핵심 메시지

• 기존 롤아웃 기반 강화학습은 난이도를 따지지 않고 문제를 무작위로 뽑아, 배울 것이 없는 쉬운 문제와 아예 못 푸는 어려운 문제에 계산을 낭비한다.
• VCRL은 같은 문제를 여러 번 풀린 뒤 정답과 오답이 섞이는 정도, 즉 분산을 재서 지금 모델에게 딱 맞는 난이도를 골라낸다.
• 모든 문제의 분산을 미리 계산하면 비용이 커지므로, 작은 표본만 계산하고 값이 좋은 문제는 메모리 뱅크에 저장해 재사용한다.
• 선별 임계값을 학습 초반에는 낮게 두었다가 후반으로 갈수록 높여 커리큘럼 학습 효과를 만든다.
• 발표자는 어블레이션에서 동적 샘플링보다 메모리 뱅크 쪽 기여가 더 컸다는 점을 가장 흥미로운 지점으로 꼽았다.

쉽게 이해하기

발표는 문제의식에서 출발한다. 지금의 롤아웃 기반 강화학습은 난이도를 고려하지 않고 학습을 진행하는데, 이는 쉬운 것부터 어려운 것으로 나아가는 사람의 학습 과정과 정반대다. 발표자는 이를 레벨 1 초보 용사에게 슬라임부터 드래곤까지 무작위로 만나게 하는 상황에 빗댄다. 너무 쉬운 문제는 배울 가치가 없고 너무 어려운 문제는 애초에 학습이 되지 않는다. 여러 응답을 만들어 상대 비교를 하는 GRPO, 여기에 동적 샘플링을 더한 DAPO, 시퀀스 단위 중요도 비율을 쓰는 GSPO 모두 적정 난이도를 골라 오는 기전은 갖고 있지 않다는 것이 발표의 지적이다.

VCRL의 첫 번째 축은 분산으로 난이도를 재는 것이다. 같은 문제를 여덟 번 풀렸을 때 전부 맞히면 보상이 모두 1이라 분산이 0이 되고, 전부 틀리면 보상이 모두 0이라 역시 분산이 0이 된다. 앞의 경우는 너무 쉬워서, 뒤의 경우는 아직 너무 어려워서 배울 것이 없다는 뜻이다. 반면 맞히기도 하고 틀리기도 하는 문제는 분산이 커지는데, 발표자는 이런 문제야말로 지금 배우기에 딱 좋은 난이도라고 설명한다. 이진 보상에서는 성공한 롤아웃 수가 전체의 절반일 때 분산이 최대가 되므로, 논문은 이 최댓값으로 나눠 0과 1 사이로 정규화한 값 p를 쓰고, p가 임계값 이상인 표본만 학습에 쓴다.

두 번째 축은 메모리 뱅크다. 모든 문제의 p를 미리 계산하려면 문제 수에 롤아웃 수를 곱한 만큼 시도해야 해서, 1만 문제에 여덟 번씩이면 8만 번을 돌려야 한다. 대신 매 배치에서 32개만 뽑아 여덟 번씩 시도하면 256번으로 줄어들고, 그중 임계값을 넘는 표본이 모자라면 메모리 뱅크에서 채운다. 뱅크는 우선순위 큐로 구현되고 임계값을 넘는 표본만 저장되며, 꺼내 쓸 때마다 모멘텀 상수로 우선순위를 갱신한다. 다양성을 지키기 위해 같은 표본은 최대 두 번까지만 재사용하고, 학습이 진행돼 모델이 성장하면 이전 문제의 p를 다시 계산해 뱅크를 갱신한다.

임계값은 처음부터 끝까지 고정하지 않는다. 학습 초반에는 0.3 수준으로 낮춰 상대적으로 쉬운 표본도 포함시켜 기본기를 다지고, 후반으로 갈수록 0.8 수준까지 올려 정말 아슬아슬하게 맞히는 문제만 남긴다. 사람의 학습 과정을 본떠 커리큘럼 학습 원리를 명시적으로 구현한 장치다. 실험은 수학 능력 향상을 목표로 다섯 개 벤치마크 데이터셋에서 진행됐고, 4B와 8B 규모의 오픈 모델 두 가지를 기반으로 GRPO, DAPO, GSPO 세 가지를 베이스라인으로 삼았다.

결과는 모든 벤치마크에서 VCRL이 가장 높은 성능을 보였고, 특히 쉬운 축에 속하는 벤치마크보다 어려운 벤치마크에서 향상 폭이 컸다. 학습 곡선을 보면 초반에 가파르게 치솟은 뒤 중반에 안정을 유지하고 후반에 수렴하는데, 발표자는 초반 급상승을 고품질 표본 선별의 효과로 해석한다. 어블레이션에서는 동적 샘플링과 메모리 뱅크가 각각 기여했지만 메모리 뱅크 쪽 몫이 더 컸고, 둘을 함께 쓸 때 시너지가 있었다. 논문은 또 VCRL의 기울기가 GRPO의 기울기에 1 이하의 감쇠 계수를 곱한 형태임을 증명해 학습이 더 안정적임을 수학적으로 뒷받침한다. 남은 과제로는 실험이 수학 문제에 한정돼 있다는 점, 다른 도메인과 더 큰 모델로의 확장이 필요하다는 점이 언급된다.

주요 인사이트

• 난이도를 사람이 라벨링하지 않고 모델 자신의 정답률이 흔들리는 정도로 정의한 것이 핵심이다. 모델이 성장하면 같은 문제의 난이도 평가도 자동으로 따라 바뀐다.
• 좋은 문제를 버리지 않고 다시 쓰는 재활용의 기여가 새 문제를 고르는 것보다 컸다는 결과는, 어떤 데이터를 갖고 있느냐보다 언제 어떤 데이터를 쓰느냐가 중요할 수 있음을 시사한다.
• 임계값을 초반 0.3에서 후반 0.8 수준까지 올리는 스케줄은 기본기부터 다지는 사람의 학습 순서를 알고리즘으로 옮겨 놓은 장치다.
• 메모리 뱅크의 표본을 최대 두 번까지만 재사용하도록 제한한 것은 재활용의 이득과 다양성 손실 사이의 균형을 맞추기 위한 설계다.
• 성능 개선을 벤치마크 점수로만 주장하지 않고 기울기 감소 정리로 안정성까지 증명한 점이, 이 논문이 단순한 샘플링 요령 이상으로 읽히는 이유다.

자주 묻는 질문

관련 AI 소식