학습 시간 스케일링이란: 스탠퍼드 CS329A 6강으로 보는 STaR·GRPO·DAPO 정리

핵심 메시지

• 강의의 핵심은 모델이 스스로 만든 출력 가운데 정답인 것만 걸러 다시 학습에 쓰는 순환 구조다. 강연자는 이 루프 하나만 기억해도 학습 시간 스케일링의 기본은 배운 것이라고 말한다.
• 파라미터를 키우는 대신 학습에 쓰는 연산을 늘리는 방식으로, 7B·32B 급 작은 모델이 수학 추론에서 훨씬 큰 모델을 앞질렀다고 소개된다.
• STaR는 정답을 맞힌 풀이만 학습 데이터로 쓰고, 틀린 문제는 정답을 힌트로 준 뒤 풀이를 거꾸로 만들게 해 학습 데이터를 넓힌다.
• DeepSeekMath가 제안한 GRPO는 크리틱 모델을 없애고 같은 질문에 대한 여러 답의 보상을 평균과 표준편차로 정규화해 메모리 부담을 줄였다.
• DAPO는 비대칭 클리핑·동적 샘플링·토큰 단위 손실 같은 구현 세부를 쌓아 AIME 정확도를 30%에서 50%까지 끌어올렸다.

쉽게 이해하기

스탠퍼드 CS329A '자기 개선형 AI 에이전트' 6강은 추론 시점의 기법을 다룬 앞선 강의들과 달리, 학습 자체에 연산을 더 쏟는 '학습 시간 스케일링'을 다룬다. 강연자는 모델에게 여러 번 답을 만들게 한 뒤 걸러낸 결과를 다시 미세조정에 넣는 순환 고리를 그리며, 이 고리가 강의 전체의 뼈대라고 설명한다. 사전학습이 인터넷 데이터를 먹이는 단계였다면, 여기서는 모델 자신의 출력이 다음 학습 데이터가 된다.

이 접근이 통하는 전제는 정답 여부를 기계적으로 확인할 수 있는 영역이라는 점이다. 수학이나 코드처럼 검증이 확실한 분야에서는 어떤 출력이 맞았는지 알 수 있어 걸러내기가 가능하지만, 개인적인 글쓰기나 문장 다듬기처럼 정답이 없는 영역에서는 같은 방식으로 이득을 보기 어렵다고 강의는 짚는다.

첫 논문 STaR는 아주 단순한 아이디어다. 풀이 예시 몇 개로 시작해 문제를 대량으로 풀게 하고, 정답을 맞힌 것만 남겨 미세조정한 뒤 이 과정을 반복한다. 틀린 문제에서는 학습 신호가 없다는 문제가 남는데, 여기서는 정답을 먼저 알려주고 '왜 그 답인지' 설명하게 하는 합리화 단계를 넣어 어려운 문제까지 학습 데이터로 끌어들인다. 다만 정답이 맞았다고 그 안의 추론이 옳다는 보장은 없어, 잘못된 중간 단계를 그대로 배울 위험이 남는다고 강의는 인정한다.

두 번째 논문 DeepSeekMath는 데이터와 알고리즘 양쪽을 손봤다. 논문 사이트 대신 웹 문서에서 수학 데이터를 정제해 모으고, 코드로 먼저 학습된 모델에서 출발하는 편이 낫다는 점을 보였다. 알고리즘 쪽에서는 PPO가 요구하는 크리틱과 보상 모델까지 여러 벌을 메모리에 올려야 하는 부담을 덜기 위해, 한 질문에 여러 답을 뽑아 그 집단 안에서 보상을 정규화하는 GRPO를 제안했다. 그 결과 7B 모델이 MATH 벤치마크에서 46.8%에서 51.7%로 올라갔다.

마지막 논문 DAPO는 강화학습을 그대로 키웠을 때 무너지는 지점들을 하나씩 고친다. 확률이 낮은 토큰이 충분히 커지지 못하게 막는 대칭 클리핑을 비대칭으로 바꾸고, 전부 맞거나 전부 틀린 묶음은 걸러내 학습 신호가 남는 표본만 쓰고, 문장 단위 대신 토큰 단위로 손실을 계산해 답이 한없이 길어지는 현상을 눌렀다. 이 조치들을 누적하며 Qwen 32B의 AIME 정확도는 30%에서 36%, 38%, 41%, 42%를 거쳐 50%까지 올라갔다.

주요 인사이트

• 세 기법 모두 여러 번 시도했을 때 다수결 정답률은 올리지만, 한 번이라도 맞히는 비율(pass@k)은 끌어올리지 못했다. 강의는 모델이 더 똑똑해진 것이 아니라 더 일관되게 답하게 된 것이라고 정리한다.
• 보상이 전부 0이거나 전부 1이면 정규화가 작동하지 않아 배울 것이 없다. 문제 난이도가 적당히 섞여 보상에 분포가 생겨야 학습이 굴러간다는 점이 GRPO의 약점이자 DAPO 동적 샘플링의 출발점이다.
• 강의는 지도 미세조정과 강화학습의 선택 기준도 제시한다. 질 좋은 데이터가 충분하면 미세조정이 빠르지만 추론 능력 자체를 키우지는 못하고, 강화학습은 적은 예제로도 올라갈 수 있지만 제대로 돌리기까지 손이 많이 간다.
• 강연자는 전체 학습 연산에서 강화학습이 차지하는 비중이 아직 작다고 보며, 절반을 강화학습에 썼다는 한 모델의 주장도 그만한 도약으로 이어지지는 않았다고 말한다. 보상 신호의 잡음과 한계가 병목이라는 설명이다.
• 남은 과제로는 실패한 시도에서 배우는 방법이 아직 없다는 점, 되짚기나 자기 수정 같은 행동이 정말 새로 생긴 것인지 원래 있던 것이 두드러진 것인지 불분명하다는 점이 꼽힌다.

자주 묻는 질문

관련 AI 소식