지식 증류란? 교사-학생 모델과 다크 널리지, 온도 조절 소프트맥스 해설

핵심 메시지

• 지식 증류는 큰 교사 모델을 흉내 내는 작은 학생 모델을 학습시켜, 추론 속도는 빠르면서 정확도 손실은 최소화하는 모델 압축 기법이다.
• 교사의 출력이 정답 원핫에 가까우면 정보가 빈약해지므로, 로짓에 담긴 상대적 클래스 정보(다크 널리지)를 학생에게 전달한다.
• 온도 조절 소프트맥스로 확률 분포를 완만하게 만들면, 클래스 간 상대적 유사성 같은 숨은 정보가 드러나 학생이 배울 수 있다.
• 학생은 교사의 완만한 분포와의 KL 발산, 그리고 실제 정답과의 교차 엔트로피를 합친 손실로 학습한다.

쉽게 이해하기

지식 증류는 CPU·메모리가 제한된 모바일 환경처럼 가벼운 모델이 필요한 상황을 겨냥한 모델 압축 기법이다. 모델 성능을 높이려 앙상블이나 더 깊은 신경망을 쓰면 정확도는 오르지만 모델이 무거워져 추론이 느려지는 문제가 생긴다. 지식 증류는 이 딜레마를 푼다.

영상은 역사를 짚는다. 2006년 코넬대 연구진이 작은 학생 모델로 큰 교사 모델을 모방하도록 학습시키는 아이디어를 제시했다. 다만 잘 학습된 교사의 출력은 "이건 개다"에 가까운 원핫 형태여서, 그대로는 정답 라벨로 학습하는 것과 크게 다르지 않아 정보가 빈약했다.

2014년 도입된 로짓 매칭은 소프트맥스 이전의 로짓(음의 무한대~양의 무한대 값)을 맞추게 해, 더 풍부한 상대적 클래스 정보를 전달했다. 예컨대 개 이미지에 대해 "개지만 쥐보다는 고양이에 더 가깝다"는 관계 정보가 담기는데, 이를 다크 널리지(dark knowledge)라고 부른다.

2015년 구글 연구진은 신경망이 확률 분포 기반 손실로 학습된다는 점에 착안해, 교사의 로짓에 온도(T)로 나누는 온도 조절 소프트맥스를 적용했다. T가 1이면 일반 소프트맥스지만, T가 커질수록 분포가 뾰족함을 잃고 완만해져 다크 널리지가 드러난다. 이렇게 완만해진 교사 분포를 학생이 따라 학습한다.

실제 계산 단계는 이렇다. 교사는 학습을 마쳐 가중치를 고정하고, 학생은 이미지를 입력받아 값을 정규화한 뒤 온도(예: 5) 소프트맥스를 적용한다. 학생과 교사 분포 사이의 KL 발산으로 둘의 차이를, 학생과 정답 사이의 교차 엔트로피로 오차를 재고, 둘을 가중 합산한 손실을 역전파해 학생을 갱신한다. 추론 시에는 온도를 1로 되돌려 일반 소프트맥스로 예측한다.

주요 인사이트

• 핵심은 "정답 하나"가 아니라 "클래스 간 상대적 관계"를 전달하는 데 있다. 교사가 남긴 미세한 확률 차이가 학생에게는 값진 학습 신호가 된다.
• 온도는 정보를 드러내는 손잡이다. 온도를 높여 분포를 완만하게 만들수록 다크 널리지가 표면화돼 전달 가능한 신호가 늘어난다.
• 지식 증류는 로짓 매칭보다 일반화된 프레임워크다. 높은 온도에서 증류 손실의 KL 항은 로짓 매칭 손실에 비례하게 되어, 로짓 매칭을 특수한 경우로 포함한다.
• 고성능·저지연을 동시에 원할 때, 무거운 교사를 그대로 배포하는 대신 그 지식을 이식한 가벼운 학생을 배포한다는 실전 전략을 보여준다.

자주 묻는 질문

관련 AI 소식