LLM 지식 증류로 소형 특화 모델 만들기: 단계별 증류와 비용 절감 사례

핵심 메시지

• 거대 범용 LLM은 배포 비용이 크므로, 작은 '특화' 모델을 배포하자는 것이 핵심 주장이다.
• 모델 증류는 강력한 교사 모델로 라벨 없는 데이터에 의사 라벨을 붙여 작은 학생 모델을 학습시키는 기법이다.
• '단계별 증류'는 라벨뿐 아니라 그 판단의 근거(rationale)까지 함께 학습시켜 필요한 데이터양을 20~78% 줄인다.
• 근거는 추론 시점이 아니라 학습 시점의 감독 신호로 쓰여, 배포된 모델은 근거 없이도 예측할 수 있다.
• 계약서 조항 분류 사례에서 GPT-3급 성능을 유지하면서 추론 비용을 약 0.1% 수준으로 낮췄다.

쉽게 이해하기

스노클 AI의 연구원 제이슨 프리즈는 거대 언어 모델이 뛰어난 범용가이지만 실제 배포는 매우 비싸다는 문제에서 이야기를 시작한다. 예를 들어 1,750억 파라미터 모델은 최소 350GB의 GPU 메모리를 요구하고 대규모 서빙에는 특수 인프라가 필요하다. 그래서 '거대 범용 모델' 대신 '작은 특화 모델'을 배포하자는 것이 이 발표의 주장이다.

특화 모델을 만드는 도구로는 전통적인 전문가 수작업 라벨링과, 최근의 모델 증류가 있다. 증류는 더 강력한 교사 모델로 라벨이 없는 데이터에 의사 라벨을 붙여 학습셋을 만들고, 이를 작은 학생 모델에 학습시켜 큰 모델의 성능과 작은 모델의 배포 효율을 동시에 얻는 방식이다. 여기서는 GPT-4의 범용 능력을 그대로 복제하려는 것이 아니라, 특정 과제에 특화한 모델을 만드는 데 초점을 둔다.

두 방식 모두 한계가 있다. 파인튜닝은 사람이 만든 라벨을 모아야 해 비싸고 확장이 어렵고, 증류는 강력한 교사 모델과 함께 많은 양의 라벨 없는 데이터를 요구한다. 데이터가 무한하지 않은 현실에서, 자동 라벨링을 하되 필요한 데이터셋 크기 자체를 줄이는 것이 과제가 된다.

ACL 2023에서 발표된 '단계별 증류(distilling step-by-step)'는 언어 모델이 뛰어난 추론 능력을 가진다는 점을 활용한다. 교사 모델이 라벨만 주는 대신, 왜 그 라벨에 도달했는지 자연어 근거(rationale)를 함께 생성하게 한다. 이 근거를 입력에 붙이면 추론 시점에도 근거가 필요해 이득이 없으므로, 대신 '근거를 예측하라'는 별도 과제를 더한 멀티태스크 학습으로 감독 신호로만 활용한다. 그 결과 배포 모델은 추론 시 근거 없이 라벨만 예측한다.

효과는 뚜렷하다. 구글 리서치 팀은 자연어 추론·상식 추론·수학 문제 등 다양한 벤치마크에서 학습 데이터를 20~78% 줄이고도 기존 방식을 능가했으며, 5,400억 파라미터 PaLM의 성능을 2억2천만~7억7천만 T5 모델(700배 이상 작음)로 증류했다. 계약서 조항 분류 사례에서는 여러 LLM의 출력을 스노클 플로우로 결합해 2억2천만 파라미터 RoBERTa 모델을 만들었는데, GPT-3와 같은 성능을 내면서 1만 건 추론 비용을 173달러에서 약 26센트로 낮췄다.

주요 인사이트

• 병목은 언어 모델의 크기나 정교함이 아니라 '학습 신호(training signal)'의 품질이다. 더 나은 데이터를 큐레이션하면 작은 모델이 당대 최고 성능의 대형 모델을 능가할 수 있었다.
• LLM은 최종 배포 모델이라기보다, 고품질 학습 데이터를 값싸게 만들어 주는 '데이터 큐레이션 도구'로 보는 관점이 실용적이다.
• 라벨에 더해 자연어 근거까지 증류하면, 전통적으로 얻기 매우 비쌌던 풍부한 감독 신호를 확장 가능하게 확보할 수 있다.
• 근거를 추론 시점 입력이 아니라 학습 시점 멀티태스크 감독으로 사용하는 설계가 핵심이다. 덕분에 배포 모델은 뒤에서 대형 모델을 부르지 않고도 예측한다.
• 소형 인하우스 모델은 비용뿐 아니라 데이터 주권(민감한 기업 데이터를 외부 API에 넘기지 않음) 측면에서도 이점이 있다.

자주 묻는 질문

관련 AI 소식