엔트로피로 이해하는 AI: 크로스엔트로피·온도·KL 발산까지 한 번에
물리학에서 온 엔트로피가 크로스엔트로피 손실, 퍼플렉시티, 챗봇 온도, KL 발산까지 AI 곳곳에 나타난다. Vizuara의 강의를 쉽게 풀었다.
핵심 내용 읽기 →
AI TOPIC
엔트로피 최신 뉴스와 핵심 해설
엔트로피 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
압축은 곧 지능이다: 섀넌 정보이론·엔트로피와 거대언어모델 사전학습의 숨은 연결 고리
텍스트 압축의 한계는 어디일까? 1940년대 클로드 섀넌의 정보이론은 '예측과 압축은 수학적으로 같다'는 통찰을 낳았고, 이는 오늘날 거대언어모델 사전학습과 교차엔트로피 손실의 뿌리가 됐다. 정보와 엔트로피의 정의를 직접 따라가 본다.
핵심 내용 읽기 →