크로스 엔트로피 쉽게 이해하기: 압축, 엔트로피, 그리고 언어 모델 학습 손실함수의 연결
3Blue1Brown이 gzip 압축만으로 언어 계통을 찾아낸 2002년 연구에서 출발해, 크로스 엔트로피가 무엇이며 왜 대규모 언어 모델의 학습 손실함수로 쓰이는지를 직관적으로 설명하고, 압축과 학습 사이의 숨은 연결까지 짚어 본다.
핵심 내용 읽기 →
AI TOPIC
크로스엔트로피 최신 뉴스와 핵심 해설
크로스엔트로피 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
엔트로피로 이해하는 AI: 크로스엔트로피·온도·KL 발산까지 한 번에
물리학에서 온 엔트로피가 크로스엔트로피 손실, 퍼플렉시티, 챗봇 온도, KL 발산까지 AI 곳곳에 나타난다. Vizuara의 강의를 쉽게 풀었다.
핵심 내용 읽기 →