LLM 사후학습(포스트 트레이닝) 정리 — RLVR·합성 데이터·온폴리시 증류가 바꾼 모델 학습 방식

핵심 메시지

• RLVR은 사람 선호 대신 단위 테스트 통과나 정답 여부처럼 기계로 검증 가능한 신호를 보상으로 삼고, 보상 모델 없이 GRPO 계열 알고리즘과 함께 쓰인다.
• RLVR이 새 능력을 만드는지 기존 능력을 끌어올리는지는 아직 논쟁 중이며, 한 연구는 시도 횟수를 크게 늘리면 오히려 원본 모델이 더 나은 경우를 보고했다.
• 사람이 붙이는 라벨은 비싸고 편향과 윤리 문제를 안고 있어, 강한 모델이 데이터를 만들고 검증기가 걸러내는 합성 데이터 파이프라인이 표준이 되고 있다.
• 자기가 만든 데이터만 반복 학습하면 출력 분포가 단순해지는 모델 붕괴가 보고돼, 합성 데이터는 필터링과 신선한 데이터 없이는 위험하다.
• 최근 모델들은 도메인별 전문가 교사를 여러 개 만든 뒤 온폴리시 증류로 하나의 학생 모델에 합치는 다단계 레시피를 쓴다.

쉽게 이해하기

한 대학의 LLM 강의 마지막 회차는 '모던 포스트 트레이닝'이라는 제목으로, 사전학습이 끝난 모델을 쓸 만한 제품으로 다듬는 단계에서 최근 무엇이 달라졌는지를 정리한다. 강의는 먼저 사람 선호를 학습하는 RLHF와, 기계적으로 검증 가능한 보상을 쓰는 RLVR을 나란히 놓고 차이를 설명한다. RLHF는 사람의 주관적 품질 평가를 보상 모델로 옮겨 담아야 하지만, RLVR은 단위 테스트 통과율이나 수학 정답 여부처럼 자동으로 판정되는 신호를 그대로 보상으로 쓴다.

알고리즘 측면에서 RLVR은 가치 함수를 따로 두는 PPO 대신, 하나의 프롬프트에서 여러 응답을 뽑아 그 그룹 내 통계로 어드밴티지를 계산하는 GRPO 계열과 잘 맞는다. 강의는 이 방식이 왜 검증 가능한 보상과 궁합이 좋은지 설명하면서, 이후 등장한 변형들도 GRPO의 철학은 유지한 채 실용적인 개선에 집중했다고 정리한다.

흥미로운 대목은 RLVR이 대체 무엇을 하고 있느냐는 논쟁이다. 한 연구는 RLVR이 여러 번 시도했을 때의 성공률(pass@k)을 한 번에 맞히는 능력(pass@1)으로 압축하는 과정에 가깝다고 본다. 시도 횟수를 128회 이상으로 크게 늘리면 학습을 많이 시킨 모델이 오히려 원본 모델보다 못한 결과를 보였고, 이는 이미 모델 안에 묻혀 있던 추론 경로의 확률을 끌어올리는 대신 다양성을 좁히는 맞교환으로 해석된다. 반대로 학습을 충분히 오래 돌리면 창의성 지표와 분포 밖 과제 성능이 함께 올라간다는 반론도 소개된다.

데이터 쪽 이야기는 사람 라벨의 한계에서 출발한다. 강의는 어노테이터 구성이 특정 연령대와 학력에 몰려 편향이 들어갈 수 있다는 보고와, 저임금 라벨링 논란 같은 윤리 문제를 함께 언급한다. 그래서 강한 모델이 지시문·정답·근거·도구 사용 기록까지 만들고 검증기가 걸러내는 합성 데이터 파이프라인이 힘을 얻었지만, 자기 출력만 재귀적으로 학습하면 분포가 단조로워지는 모델 붕괴 위험이 함께 따라온다.

후반부는 AI가 사람 대신 선호를 매기는 방식과 자기 개선 계열을 훑는다. 사람이 작성한 원칙 문서를 기준으로 모델이 스스로 비평하고 답을 고쳐 쓰는 접근, 정답을 맞힌 추론 과정만 남겨 다시 학습하는 방법, 교사 모델의 풀이를 학생에게 옮기는 증류가 차례로 등장한다. 강의는 마지막으로 최근 공개 모델들이 SFT → 강화학습 → 다중 교사 온폴리시 증류를 여러 라운드 반복하는 복잡한 레시피를 쓴다는 점을 짚으며, 사후학습에 들어가는 연산이 사전학습 못지않게 커졌다고 정리한다.

주요 인사이트

• 검증 가능한 보상은 확장하기 쉽다. 사람의 판단을 기다릴 필요가 없으니 모델 학습 루프 중간중간에 끼워 넣을 수 있고, 이것이 코딩·수학 영역에서 사후학습이 빠르게 발전한 배경이다.
• '정답률이 올랐다'는 지표 하나로 모델 개선을 말하기 어렵다. 같은 학습이 한 번에 맞히는 능력은 올리면서 여러 번 시도했을 때의 도달 범위는 좁힐 수 있기 때문에, 평가 지표를 어떻게 잡느냐가 결론을 바꾼다.
• 교사 모델의 풀이를 그대로 베끼는 방식에는 함정이 있다. 초등학생에게 미적분 풀이 과정을 보여주는 것과 같아서, 학생 모델이 능력을 얻는 대신 패턴만 외울 수 있고 응답이 길어지는 에이전트 과제에서 이 불일치가 커진다.
• 온폴리시 증류에서 흔히 쓰는 역방향 KL은 교사 분포의 여러 봉우리 중 하나를 골라 붙는 성질이 있다. 다양성은 줄지만 추론처럼 안전한 경로를 따라가야 하는 과제에는 유리하다는 설명이 나온다.
• 여러 도메인을 한 번의 강화학습으로 동시에 잘하게 만드는 것은 어렵지만, 도메인별 전문가를 따로 만들어 증류로 합치는 것은 훨씬 안정적이다. 최근 모델들이 다중 교사 방식을 택하는 실질적인 이유다.

자주 묻는 질문

관련 AI 소식