강화학습 사전학습(RPT) 정리: 다음 토큰 예측을 추론 과제로 바꾼 마이크로소프트 논문

핵심 메시지

• 강화학습은 지금까지 주로 사전학습이 끝난 뒤의 후처리 단계에서만 쓰였지만, RPT는 이를 사전학습 단계로 끌어들인다.
• 핵심 아이디어는 ‘다음 토큰 예측’을 ‘다음 토큰 추론’으로 바꾸는 것으로, 모델이 답을 바로 내놓는 대신 생각의 사슬을 먼저 만든 뒤 다음 토큰을 예측하게 한다.
• 정답은 학습 데이터에 이미 들어 있는 실제 다음 토큰이므로, 사람이나 다른 모델의 피드백 없이도 검증 가능한 보상을 만들 수 있다.
• 그 결과 강화학습에 쓸 수 있는 데이터의 규모가 사전학습 말뭉치 전체로 넓어진다.
• 실험에서 RPT 모델은 기반 모델보다 다음 토큰 예측 정확도가 높았고, 이어지는 강화학습의 출발점으로도 더 나은 성능을 보였다.

쉽게 이해하기

대규모 언어 모델의 학습은 보통 세 단계로 설명된다. 방대한 텍스트와 코드로 일반 지식을 익히는 사전학습, 지시를 따르도록 다듬는 지도 미세조정, 그리고 마지막으로 강화학습이다. 영상은 이 가운데 강화학습이 지금까지 사실상 마지막 단계에만 머물러 있었다는 점을 출발점으로 삼는다.

강화학습에는 크게 세 갈래가 소개된다. 사람이 응답에 점수를 매기는 인간 피드백 기반 강화학습(RLHF)은 품질은 좋지만 대규모로 모으기에 비싸고 오래 걸린다. 다른 모델이 대신 피드백을 주는 AI 피드백 방식(RLAIF)은 피드백을 주는 모델 자체가 충분히 뛰어나야 한다. 정답 여부를 규칙으로 판정하는 검증 가능한 보상 방식(RLVR)은 보상 해킹 문제를 비교적 잘 억제하지만, 수학이나 코드처럼 정답을 기계적으로 채점할 수 있는 영역의 데이터에 의존한다.

여기서 영상이 짚는 불균형이 등장한다. 사전학습에 쓰이는 텍스트 말뭉치는 강화학습에 쓰이는 데이터보다 규모가 몇 자릿수나 크다. 그렇다면 그 방대한 사전학습 데이터를 강화학습에도 쓸 수 없을까? 마이크로소프트의 강화학습 사전학습(RPT)은 바로 이 질문에 답하는 방식으로, 다음 토큰 예측이라는 익숙한 과제를 ‘다음 토큰 추론’이라는 강화학습 과제로 다시 정의한다.

구체적으로는 문맥이 주어졌을 때 모델이 곧바로 다음 토큰을 내놓는 대신, 먼저 추론 과정을 생성하고 그 끝에 최종 예측을 제시한다. 학습에는 딥시크 R1에도 쓰인 GRPO 알고리즘이 사용된다. 하나의 문맥에서 여러 개의 출력을 샘플링하면 서로 다른 추론 경로와 서로 다른 예측이 모이고, 학습 데이터에 실제로 이어지는 토큰을 정답으로 삼아 각 출력의 보상을 계산한 뒤 같은 묶음 안에서 상대적으로 좋은 응답 쪽으로 모델을 갱신한다. 영상은 RPT가 기존 사전학습을 대체하는 것이 아니라, 그 뒤에 붙는 추가 단계라는 점을 분명히 한다.

결과는 올림피아드 수준 수학 문제를 모은 옴니매스(Omni-MATH) 벤치마크와 R1 디스틸 기반 14B 모델을 사용해 제시된다. 다른 모델이 예측 엔트로피로 나눈 쉬움·보통·어려움 세 난이도 모두에서 RPT의 다음 토큰 예측 정확도가 기반 모델을 웃돌았고, 14B 규모의 RPT가 두 배가 넘는 크기의 32B 모델과 견줄 만한 정확도를 보였다. 학습 연산을 늘릴수록 세 난이도 모두에서 정확도가 함께 올라가는 확장 경향도 확인됐다.

주요 인사이트

• RPT의 값어치는 새로운 알고리즘보다 ‘보상을 어디서 구할 것인가’라는 발상 전환에 있다. 사람이 매긴 점수도, 다른 모델의 판단도 아닌 원문에 이미 존재하는 다음 토큰이 정답 역할을 하기 때문에 데이터 확보 비용 문제가 상당 부분 사라진다.
• 영상은 기존 구도를 ‘큰 케이크(사전학습) 위의 체리(강화학습)’에 비유하고, RPT를 통해 케이크 전체가 체리가 되는 상황에 빗댄다. 강화학습이 도메인 특화 데이터셋의 제약에서 벗어난다는 뜻이다.
• 같은 크기 모델의 성능이 아니라 ‘더 작은 모델이 두 배 큰 모델과 비슷해진다’는 결과가 핵심이다. 추론 과정을 거쳐 다음 토큰을 맞히는 훈련이 파라미터 수를 대신할 수 있음을 시사한다.
• RPT 이후에 검증 가능한 보상 기반 강화학습을 추가로 돌렸을 때, RPT 모델의 향상 폭이 기반 모델보다 컸다. 사전학습과 후처리 강화학습 사이의 간극을 메우는 다리 역할을 한다는 주장이 여기서 나온다.
• 반대 사례도 함께 제시된다. 같은 데이터를 기존 방식의 다음 토큰 예측 목표로 학습시킨 기반 모델은 추론 능력을 크게 잃었다. 데이터가 아니라 학습 목표의 설계가 능력의 보존을 좌우한다는 대비다.

자주 묻는 질문

관련 AI 소식