직접 온폴리시 증류: 작은 모델의 강화학습 변화를 큰 모델 학습 신호로 쓰는 방법과 비용 절감 효과

핵심 메시지

• 핵심 아이디어는 비싼 강화학습을 큰 모델에 직접 돌리는 대신, 작은 모델을 강화학습으로 바꿔 놓고 그 전후의 '정책 변화'만 뽑아 더 큰 모델을 학습시키는 것이다.
• 학생 모델이 교사 모델보다 크다는 점에서 통상적인 지식 증류와 방향이 반대이며, 참가자들은 이를 약한 모델에서 강한 모델로의 일반화로 이해했다.
• 논문이 제시한 학습 시간은 7B 모델을 직접 강화학습할 때 320시간, 1.5B 강화학습 160시간에 증류 4시간을 더하면 164시간으로, 절반 수준의 비용에 비슷하거나 더 나은 성능을 냈다.
• 손실 함수는 정책 변화에서 얻은 보상 항과 기존 온폴리시 증류 항을 섞기 때문에, 두 항의 균형을 잡는 하이퍼파라미터가 성패를 가른다.
• 토론자들은 실험에 쓰인 모델들이 사실상 같은 계열의 파생 모델일 수 있다는 점, 규모 차이가 더 벌어져도 통할지 확인되지 않은 점을 한계로 짚었다.

쉽게 이해하기

허깅페이스 연구팀이 정기 논문 토론에서 다룬 주제는 사후 학습(post-training) 비용을 줄이는 방법이었다. 보통은 모델을 강화학습으로 다듬어 성능을 끌어올리는데, 이 과정이 대형 모델에서는 대단히 비싸다. 논문은 값싼 작은 모델에만 강화학습을 돌리고, 그 모델이 강화학습 전후로 어떻게 달라졌는지를 측정해 그 '차이'를 큰 모델을 훈련하는 촘촘한 보상 신호로 쓰자고 제안한다.

토론에서 가장 먼저 정리된 것은 이 방식이 우리가 아는 증류와 방향이 다르다는 점이었다. 보통 증류는 크고 강한 교사의 지식을 작은 학생에게 옮기지만, 여기서는 학생 쪽이 더 크고 성능도 더 좋을 수 있다. 손실 함수 안에는 네 개의 정책이 등장하며, 정책 변화에서 유도한 보상 항과 일반적인 온폴리시 증류 항이 함께 들어간다. 참가자들은 이 지점에서 강화학습과 증류의 경계가 흐려진다고 표현했다.

비용 이야기는 구체적이었다. 참가자 한 명이 논문 8쪽의 표를 인용해, 7B 모델을 직접 강화학습하면 320시간이 걸리는데 1.5B 모델 강화학습 160시간에 증류 4시간을 더하면 164시간이라고 짚었다. 더구나 강화학습 전후 체크포인트는 이미 학습 파이프라인에서 만들어져 있는 경우가 많아, 추가 모델을 새로 학습할 필요 없이 사실상 공짜로 얻어지는 재료라는 점이 매력으로 꼽혔다.

다만 조건이 있다. 두 정책의 분포가 지나치게 벌어지면 증류 항이 잡음이 되어 버리기 때문에, 논문도 두 손실의 균형을 잡는 하이퍼파라미터를 좁은 범위에서 맞춰야 한다고 밝힌다. 참가자들은 강화학습 대신 지도학습(SFT)으로 작은 모델을 개선해도 같은 효과가 나는지 확인하는 실험이 없었다는 점, 실험에 쓴 두 모델 계열이 실은 같은 뿌리의 파생 모델로 보인다는 점, 1.5B에서 7B는 되는데 30B까지도 되는지가 빠졌다는 점을 아쉬워했다.

롤아웃 길이에 대한 관찰도 나왔다. 짧은 시퀀스로 학습해도 모델이 더 긴 시퀀스로 어느 정도 일반화되며, 실험에서는 2K 토큰 부근이 안정적인 지점으로 보였다. 참가자들은 증류에서 롤아웃 앞부분이 특히 중요하다는 기존 경험과 이 결과가 통한다고 봤고, 손실이 앞부분부터 누적되는 형태라 학습 지평 너머까지 외삽이 가능해 보인다고 해석했다.

주요 인사이트

• 이 방법의 실질적 매력은 새로운 모델을 더 만들 필요가 없다는 데 있다. 학습 파이프라인에 이미 쌓여 있는 강화학습 전후 체크포인트가 그대로 학습 신호가 된다.
• 강화학습이 가중치를 크게 바꾸지 않는다는 기존 관찰이 이 방법의 전제 조건과 맞물린다. 정책이 조금만 움직여야 증류 신호로 쓸 수 있고, 분포가 크게 흔들리는 학습 방식에서는 같은 방식이 통하지 않을 수 있다.
• 참가자들은 공개 허브에 올라온 모델 쌍(같은 베이스에서 갈라져 나온 기본형과 개선형)을 그대로 가져다 쓰는 시나리오를 떠올렸다. 토크나이저와 분포가 충분히 가깝다는 전제가 붙는다.
• 교사를 여러 개 쓰면 그만큼 모델 수가 늘어 비효율적이지만, 어댑터 방식(PEFT)으로 작은 베이스 모델 위에 얹으면 값싸게 확장할 수 있다는 제안이 나왔다.
• 토론의 결론은 '완성된 기법'이 아니라 '검증해 볼 만한 저비용 경로'였다. 큰 모델 강화학습의 초기 부팅 단계를 싸게 대신할 수 있다면 실용적 가치가 크다는 평가다.

자주 묻는 질문

관련 AI 소식