자기 증류 코드 생성 논문 리뷰: 높은 온도 샘플링과 낮은 온도 디코딩을 조합하는 방법과 한계

핵심 메시지

• 방법은 세 단계뿐이다. 높은 온도로 모델이 스스로 출력을 뽑고, 그 출력으로 지도학습을 하고, 낮은 온도로 디코딩해 평가한다.
• 생성물의 정답 여부를 검증하지 않는다는 점이 놀라운 부분으로, 온도 2로 뽑은 거의 횡설수설에 가까운 출력으로도 효과가 나타났다.
• 코드 생성에 특히 잘 듣는 이유로는 코드 토큰 분포가 구간마다 뾰족함의 정도가 크게 다르다는 구조적 특성이 지목됐다.
• 새로운 지식을 만드는 것이 아니라 이미 모델 안에 있지만 잘 나오지 않던 답이 나올 확률을 높이는 것이라는 해석이 나왔다.
• 참가자들은 도메인이 코드 하나에 그치고 비교 실험이 부족하다는 점을 이 논문의 가장 큰 약점으로 꼽았다.

쉽게 이해하기

허깅페이스 연구팀이 매주 진행하는 논문 모임에서 애플의 자기 증류 논문을 함께 읽었다. 제목부터 '민망할 만큼 단순한 자기 증류가 코드 생성을 개선한다'인 이 논문의 방법은 실제로 단순하다. 모델에게 높은 온도로 문제 풀이를 여러 번 생성하게 한 뒤, 그 생성물을 그대로 지도학습 데이터로 써서 같은 모델을 다시 학습시키고, 평가할 때는 낮은 온도로 디코딩한다. 그것만으로 코드 생성 성능이 올랐다.

참가자들이 먼저 확인한 것은 이것이 단순히 좋은 온도를 못 찾아서 생긴 착시가 아닌가 하는 점이었다. 논문은 방법을 적용하기 전 기저 모델에 대해 온도를 훑어 가며 평가한 뒤, 그중 가장 좋은 설정과 자기 증류 이후를 비교했고 여러 과제에서 의미 있는 향상을 보였다. 특정 모델에만 나타나는 현상도 아니어서 여러 모델에서 재현됐다.

왜 온도를 학습 때와 평가 때 다르게 쓰는 것이 도움이 되는지에 대한 설명은 토큰별 확률 분포의 모양에서 나온다. 코드를 생성할 때 어떤 지점은 여러 선택지가 열려 있다. 어떤 정렬 알고리즘을 쓸지 고르는 자리가 그렇다. 반면 어떤 지점은 사실상 답이 하나다. 이진 탐색에서 중간값을 잡는 자리, 조건문을 열었으면 뒤따라야 하는 자리, 함수 이름 뒤의 여는 괄호 같은 것들이다. 자기 증류는 구간마다 분포를 얼마나 뾰족하게 만들지를 사후에 조정해 주는 장치처럼 작동한다.

수식 측면에서는 두 항의 줄다리기로 읽혔다. 하나는 상위 확률 토큰들에 더 많은 확률을 몰아주도록 미는 항이고, 다른 하나는 원래 모델의 분포에서 너무 멀어지지 않게 붙잡는 항이다. 학습 온도를 1로 두면 앞의 항이 사라져 아무것도 밀지 않게 되고, 1보다 크게 잡을수록 절단된 상위 토큰 쪽으로 분포가 모인다. 논문은 학습 온도와 평가 온도의 곱이 일정 값을 넘을 때 결과가 좋다는 관찰을 제시했지만, 참가자들은 매번 온도를 훑는 비용이 만만치 않은데 실무적인 기준은 뚜렷하지 않다고 지적했다.

토론에서 가장 자주 나온 단어는 '어블레이션'이었다. 생성물 중 틀린 것을 걸러내고 학습했다면 검증이 얼마나 더 기여하는지 알 수 있었을 것이라는 지적, 다른 모델의 출력으로 학습했다면 이것이 정말 '자기' 증류의 효과인지 아니면 분포가 다른 데이터를 오래 학습한 효과인지 갈렸을 것이라는 지적이 이어졌다. 논문 쪽은 이 방법이 모델 자신의 분포를 다듬는 것이 요점이라고 주장한다.

결론에 가까운 해석은 이 방법이 지식을 새로 만들지 않는다는 것이다. 정답은 이미 모델 안에 있지만 디코딩 과정에서 잘 나오지 않을 뿐이고, 자기 증류는 그 답이 나올 확률을 끌어올린다. 한 참가자는 이것이 강화학습이 하는 일의 조잡한 버전 같다고 말했다. 강화학습이 성공 확률이 낮은 풀이를 더 자주 나오게 분포를 날카롭게 만드는 것과 방향이 같기 때문이다.

주요 인사이트

• 정답을 걸러내지 않고 학습해도 효과가 난다는 점이 이 논문에서 가장 반직관적인 부분이다. 온도 2처럼 극단적인 값으로 뽑아 사실상 알아볼 수 없는 출력이 나와도 확률 보정 효과는 남았다고 보고됐다.
• 참가자들은 비슷한 현상을 이전에도 목격했다고 말했다. 추론 과정이 절반이나 잘려 나간 데이터로 학습해도 성능이 나왔던 경험, 품질이 낮은 데이터를 반복 학습해도 효과가 있었다는 최근 결과가 이 논문과 같은 원인일 수 있다는 의심이다.
• 비용 관점의 비교가 빠졌다는 지적도 나왔다. 같은 연산을 테스트 시점의 여러 번 샘플링에 쓰는 방법과 비교해 어느 쪽이 유리한지를 보여 주는 그래프가 있었다면 실무자가 선택하기 쉬웠을 것이라는 이야기다.
• 높은 온도로 뽑은 출력이 길어지면서 모델이 사실상 더 긴 추론을 하도록 학습되는 것 아니냐는 가설도 제기됐지만, 논문에서 길이 변화에 대한 분석은 확인되지 않았다.
• 이 방법을 강화학습 전의 초기화 단계로 쓰자는 제안이 나왔다. 먼저 자기 증류로 정답이 나올 확률을 끌어올린 뒤 그 위에 강화학습을 얹으면 출발점이 좋아진다는 구상이며, 실제로 기존 학습 도구에 붙이는 방안이 논의됐다.

자주 묻는 질문

관련 AI 소식