AI 사후학습 레시피 진화: RLHF에서 다중 교사 온폴리시 증류까지

핵심 메시지

• 사후학습(post-training) 레시피는 InstructGPT의 3단계 RLHF(SFT·보상모델·RL)에서 출발해 DeepSeek R1의 추론 중심 대규모 RL, 그리고 2026년형 다중 교사 온폴리시 증류로 이어지며 두세 번의 큰 전환을 거쳤다.
• 최신 프런티어 레시피는 도메인별 전문가 모델을 따로 학습시킨 뒤, 학습 중인 모델이 스스로 생성한 경로를 각 전문가에게 보내 증류 손실로 맞추는 '다중 교사 온폴리시 증류'로 수렴하고 있다.
• 과거 표준이던 DPO와 사람 시연 데이터는 정제된 산업형 레시피에서 대부분 밀려났고, 합성 데이터와 검증 가능한 보상이 그 자리를 채웠다.
• 완전 공개 모델(Olmo 등)의 단순한 레시피는 기술적 한계라기보다 조직의 컴퓨팅·인력 규모 한계를 반영하며, 이것이 프런티어 랩과의 격차를 만든다.
• RL '환경(environment)' 거래 시장, 팅커류 API 같은 새로운 인프라가 등장했지만 지속 가능한 사업성은 여전히 불확실하다.

쉽게 이해하기

AI 연구자 나단 램버트가 운영하는 인터커넥츠 대담에 핀바 팀버스가 다시 출연해, 언어 모델의 '사후학습(post-training)' 레시피가 지난 몇 년간 어떻게 변해왔는지를 슬라이드와 함께 정리했다. 두 사람은 비영리 연구소 AI2에서 오픈 모델 Olmo의 사후학습을 함께 다뤘던 경험을 바탕으로, 공개 연구와 산업 프런티어 랩 사이의 차이를 짚었다.

이들은 사후학습 레시피의 계보를 크게 나눴다. 첫 단추는 챗GPT 시절의 InstructGPT로, 사람이 만든 SFT 데이터와 선호 순위로 보상 모델을 만들고 그 위에 RL을 얹는 3단계 방식이었다. Llama 2·3와 Tulu 3는 여기에 거부 샘플링, DPO, 반복 학습 같은 기법을 더한 실전 구현으로 볼 수 있다.

가장 큰 변화는 DeepSeek R1이었다. 베이스 모델에 RL을 먼저 돌리고 그 출력을 걸러 다음 버전의 SFT 데이터로 쓰는 식으로 반복하며 추론 능력을 끌어올리는, 추론 중심의 대규모 RL 레시피가 사실상 표준이 됐다. 이 과정에서 SFT는 범용 단계가 아니라 RL을 위한 '콜드 스타트' 역할로 바뀌었고, DPO는 선도 레시피에서 자취를 감췄다.

2026년형 레시피의 핵심은 '다중 교사 온폴리시 증류'다. 학습 중인 범용 모델이 자기 경로를 샘플링하면, 이를 검색·코딩·수학·추론·안전 등 도메인별 전문가 모델로 라우팅해 각 전문가의 토큰 분포에 맞추도록 증류 KL 손실로 학습한다. 이 손실은 기존 RL 프레임워크 안에서 검증 가능한 보상 등과 함께 자연스럽게 쓸 수 있다. Nemotron Flash V2, DeepSeek V3.2·V4, GLM, Kimi 등 여러 모델이 이 흐름에 속한다.

대담은 실무적 난점과 생태계 이야기로 이어졌다. 엔비디아 Nemotron 논문은 서로 다른 파이프라인으로 학습된 교사 모델을 단순 병합하면 성능이 떨어져, 교사와 학생을 단계적으로 정렬해야 한다고 보고했다. 한편 RL 학습에 쓸 '환경'은 정교한 웹앱 클론 하나에 10만 달러 견적이 나올 만큼 비싸졌고, 팅커류 API는 연구 진입 장벽을 낮추지만 추론 사업으로 이어지지 않으면 마진이 얇다는 점이 지적됐다.

주요 인사이트

• 4년 사이 InstructGPT의 거의 모든 구성요소(사람 시연 SFT, 사람 선호 기반 보상 모델, 그 위의 RL)가 공개적으로 알려진 범위에서는 대부분 다른 방식으로 대체됐다.
• 레시피가 단순한지 복잡한지는 종종 조직도의 크기 문제다. 컴퓨팅과 인력을 대규모로 조율할 수 있어야 전문가 모델을 여러 개 학습시키고 결합하는 복잡한 파이프라인을 감당할 수 있다.
• '증류'라는 용어는 폐쇄형 선도 모델을 베끼는 것과, 도메인 전문가 모델을 만들어 되먹이는 것을 모두 가리켜 과부하됐다. 최신 레시피에서 중요한 쪽은 후자다.
• 선호 기반 손실(DPO류)이 여전히 수학·코드·추론 개선에 효과를 낸다는 보고가 있어, 유행에서 밀렸을 뿐 충분한 검증 없이 버려졌을 가능성도 제기됐다.
• 중국 랩들이 더 효율적이라기보다, 수십억 토큰을 서빙하는 재무 압박 자체가 효율화의 강한 동기라는 관점이 제시됐다. 다만 중국 랩은 세부 구현을 더 상세히 공개하는 경향이 있다.

자주 묻는 질문

관련 AI 소식