지식 증류(Knowledge Distillation) 완전 정리: 소프트 타깃부터 온폴리시 증류까지
작고 빠른 모델에 거대 모델의 능력을 옮기는 지식 증류의 원리를 소프트 타깃, 온도, KL 발산, 노출 편향, 온폴리시 증류까지 단계별로 쉽게 설명한다.
핵심 내용 읽기 →
AI TOPIC
온폴리시증류 최신 뉴스와 핵심 해설
온폴리시증류 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
AI 사후학습 레시피 진화: RLHF에서 다중 교사 온폴리시 증류까지
인터커넥츠 대담에서 두 연구자가 InstructGPT의 3단계 RLHF부터 DeepSeek R1, 2026년형 다중 교사 온폴리시 증류까지 프런티어 모델 사후학습 레시피의 변천을 짚었다.
핵심 내용 읽기 →