지식 증류(Knowledge Distillation) 완전 정리: 소프트 타깃부터 온폴리시 증류까지

핵심 메시지

• 거대 모델은 강력하지만 느리고 비싸다. 지식 증류는 큰 교사 모델의 능력을 작고 빠른 학생 모델로 옮기는 기법이다.
• 핵심은 정답 하나만 알려 주는 원핫 라벨 대신, 교사가 각 후보에 매긴 확률 분포('다크 널리지')를 학생에게 전달하는 것이다.
• 교사의 완성된 답만 흉내 내는 방식은 학생이 스스로 만든 오류가 눈덩이처럼 커지는 '노출 편향' 문제를 낳는다.
• 온폴리시 증류는 학생이 직접 생성한 풀이 위에 교사가 매 토큰마다 피드백을 주어, 강화학습의 상태 일치와 증류의 촘촘한 신호를 동시에 얻는다.
• 온폴리시 증류는 수학 추론·개인화·데이터 재사용에서 지도학습 대비 훨씬 적은 연산으로 비슷하거나 더 나은 성능을 보였다.

쉽게 이해하기

현대 AI 모델은 계속 커지고 있다. 스케일링 법칙에 따르면 연산·데이터·파라미터를 늘릴수록 성능이 좋아지는 경향이 있지만, 가장 강력한 모델은 서비스하기엔 너무 느리고 운영 비용도 크다. 그래서 실제로는 더 빠르고 저렴하며 기기 내에서 안전하게 돌릴 수 있는 작은 모델을 선호한다. 이 영상은 큰 '교사' 모델의 능력을 작은 '학생' 모델로 옮기는 지식 증류(knowledge distillation)의 원리를 처음부터 끝까지 짚는다.

출발점은 학습 신호를 바꾸는 것이다. 보통의 지도학습은 정답 토큰 하나에만 확률을 몰아주는 원핫 타깃을 쓰는데, 이는 어떤 오답이 그럴듯하고 어떤 오답이 말이 안 되는지를 알려 주지 못한다. 대신 교사 모델의 확률 분포를 쓰면 '정답은 mat이 유력하지만 floor도 그럴듯하고 roof는 가능성이 낮다'처럼 불확실성의 모양까지 전달된다. 이렇게 상위 토큰 밖에 숨은 유용한 정보를 '다크 널리지'라 부르며, 학생은 교사 분포에 가까워지도록 KL 발산을 최소화하며 학습한다. 이때 소프트맥스가 지나치게 뾰족해지지 않도록 '온도'를 높여 분포를 부드럽게 만들어 대안 토큰들의 선호를 드러낸다.

이 아이디어를 시퀀스 전체로 확장한 것이 토큰 단위 증류다. 매 위치에서 교사와 학생의 다음 토큰 분포를 비교해 KL 발산을 더하므로, 답의 끝에서만이 아니라 모든 토큰에서 촘촘한 피드백이 생긴다. 다만 최신 LLM은 어휘가 매우 커서(예: Gemma 3는 약 26만 2천 토큰) 모든 위치의 전체 분포를 저장·전송하기 비싸다. 그래서 일부 토큰만 샘플링해 재정규화하는 근사를 쓴다. 토큰 단위 증류는 교사의 로짓 접근과 학생·교사가 같은 어휘를 공유해야 한다는 제약이 있다.

더 간단한 대안은 교사가 완성한 문장을 학생이 그대로 흉내 내게 하는 시퀀스 단위 증류다. 지시 튜닝이나 DeepSeek-R1의 추론 증류처럼 널리 성공했지만 함정이 있다. 학생은 교사의 '깨끗한 경로'만 보고 배우는데, 시험 때는 자기 자신의 (때로 틀린) 경로에서 이어가야 한다. 초반의 작은 실수가 이후 결정에 계속 얹혀 오류가 눈덩이처럼 커지는데, 이 훈련–추론 불일치를 '노출 편향(exposure bias)'이라 한다. 촘촘한 피드백도 '엉뚱한 상태'에서 주어지면 소용이 없다는 뜻이다.

해법은 학생이 스스로 만든 경로 위에서 배우게 하는 것이다. 강화학습(온폴리시)은 학생이 실제로 방문하는 상태에서 훈련하지만, 보상이 '정답/오답'처럼 희소해 어느 토큰이 문제였는지 알려 주지 못한다. 온폴리시 증류는 이 둘의 장점을 합친다. 학생이 직접 생성한 풀이에 대해 강력한 교사가 매 토큰마다 점수를 매겨, 학생 자신의 상태에서 촘촘한 교사 신호를 받는다. 교사가 답을 처음부터 쓰는 대신, 학생이 실제로 지나간 지점을 채점하는 '코치' 역할을 하는 셈이다.

주요 인사이트

• 다크 널리지와 온도: 교사의 소프트 분포는 정답뿐 아니라 '어떤 오답이 얼마나 그럴듯한지'까지 전달한다. 온도를 너무 높이면 분포가 균일해져 선호가 사라지고, 너무 낮추면 상위 토큰에 확률이 쏠린다. 대안을 드러내면서도 선호를 유지하는 중간 온도가 유용하다. 힌턴·비니알스·딘의 2015년 증류 논문은 처음엔 게재 거절됐지만, 소프트 확률은 소형 모델을 강화하는 가장 효과적인 도구가 됐다.
• 노출 편향은 왜 생기나: 운전을 배우는 비유처럼, 시범은 전문가의 매끄러운 경로만 보여 주지만 학생은 이따금 실수한다. 한 번 경로를 벗어나면 이후 모든 결정이 과거 실수에 얽매여 오류가 누적되고 결국 '충돌'한다. 교사 상태에서만 배운 학생이 자기 상태를 만나면 성능이 급격히 나빠지는 이유다.
• 온폴리시 증류의 효율: 학생(작고 저렴한 모델)이 롤아웃을 생성하고, 교사는 그 토큰들의 로그 확률을 한 번의 순전파로 계산하므로 저렴하다. 전체 문장이 아니라 부분 롤아웃(중간 프리픽스)도 채점할 수 있다. 최종 점수만 좇지 않고 매 단계 교사처럼 행동하도록 당겨지므로 단순한 보상 해킹도 줄어든다.
• 발산의 선택(GKD): 교사 데이터로 학습하는 오프폴리시는 포워드 KL과, 학생 샘플로 학습하는 온폴리시는 리버스 KL과 자연스럽게 이어진다. 포워드 KL은 교사의 여러 모드를 두루 덮으려 하고(모드 커버링), 리버스 KL은 교사가 승인한 하나의 방식으로 모으려 한다(모드 시킹). 용량이 작은 학생은 모든 풀이 방식을 흉내 낼 필요 없이 '통하는 한 가지'만 찾으면 되므로 추론에 특히 잘 맞는다. 일반화 증류(GKD)는 이 발산을 설계 선택으로 다룬다.
• 실전 결과와 자기 증류: Thinking Machines 사례에서 Qwen3 32B를 교사로 Qwen3 8B에 수학 추론을 증류하면, 40만 프롬프트 지도학습으로 60%를 얻은 뒤 온폴리시 증류로 약 150스텝 만에 70%에 도달했고, 지도학습을 200만 프롬프트로 늘린 것과 비슷한 성능을 9~30배 적은 연산으로 달성했다. 나아가 교사가 '검증된 풀이' 같은 특권 정보를 본 같은 모델이 되는 온폴리시 자기 증류(OPSD)는 외부 교사 없이도 희소한 검증 신호를 촘촘한 토큰 단위 지도로 바꿔 GRPO 같은 강화학습을 능가하기도 했다.

자주 묻는 질문

관련 AI 소식