최대우도 학습 정리: 코넬 CS 6785 생성 모델 강의로 보는 KL 발산과 몬테카를로 추정
코넬대 심층 생성 모델 강의 4강 정리. 두 분포의 가까움을 재는 KL 발산에서 출발해 기대 로그우도를 끌어내고, 몬테카를로 추정과 미니배치 경사하강으로 이어지는 생성 모델 학습의 원리를 차근히 짚어 나간다.
핵심 내용 읽기 →
AI TOPIC
KL 발산 최신 뉴스와 핵심 해설
KL 발산 관련 핵심 뉴스와 활용 인사이트 6편을 최신순으로 모았습니다.
Gemma 2 2B와 9B의 KL 발산 비교, 닐 난다가 보여준 해석성 탐색 연구 과정
닐 난다가 Gemma 2 2B와 9B의 토큰별 KL 발산을 비교하며 두 모델이 갈리는 지점을 찾는 과정을 실시간으로 공개했다. 탐색 단계 연구에서 무엇을 노려야 하는지, 코딩을 모델에 맡기는 방식의 득실은 무엇인지가 함께 드러난다.
핵심 내용 읽기 →
KL 발산이 대칭이 아닌 이유: 샐러드와 동전 예시로 이해하는 확률분포 사이의 거리
KL 발산은 두 확률분포 사이의 거리처럼 쓰이지만 P와 Q의 순서를 바꾸면 값이 달라진다. 샐러드와 토마토, 조작된 동전 예시를 통해 방향에 따라 놀라움의 크기가 왜 달라지는지 직관적으로 풀어봤다.
핵심 내용 읽기 →
지식 증류(Knowledge Distillation) 완전 정리: 소프트 타깃부터 온폴리시 증류까지
작고 빠른 모델에 거대 모델의 능력을 옮기는 지식 증류의 원리를 소프트 타깃, 온도, KL 발산, 노출 편향, 온폴리시 증류까지 단계별로 쉽게 설명한다.
핵심 내용 읽기 →
엔트로피로 이해하는 AI: 크로스엔트로피·온도·KL 발산까지 한 번에
물리학에서 온 엔트로피가 크로스엔트로피 손실, 퍼플렉시티, 챗봇 온도, KL 발산까지 AI 곳곳에 나타난다. Vizuara의 강의를 쉽게 풀었다.
핵심 내용 읽기 →
KL 발산 직관적 이해: 두 분포의 차이를 재는 공식을 비대칭성부터 직접 유도하기
두 확률분포의 차이를 재는 KL 발산을 외우는 공식이 아니라 문제에서 출발해 직접 만들어본다. 비대칭성, 로그 변환이 필요한 이유, 현재 분포 확률로 가중하는 까닭까지 단계별로 유도하고 데이터 과학 활용까지 정리했다.
핵심 내용 읽기 →