엔트로피로 이해하는 AI: 크로스엔트로피·온도·KL 발산까지 한 번에

핵심 메시지

• 엔트로피는 “어떤 상태가 배열될 수 있는 경우의 수”이며, 곧 무질서함이자 평균적인 놀라움의 크기로 이해할 수 있다.
• 볼츠만은 S=k·logW로, 섀넌은 정보를 “놀라움”(−logP)으로 정의했는데 둘은 같은 형태의 식에 도달했다.
• 분류와 언어모델 사전학습에 쓰는 크로스엔트로피 손실은 정답 확률의 −logP, 즉 “모델이 정답에 얼마나 놀랐는가”와 같다.
• 챗봇의 온도(temperature)는 소프트맥스에 들어 있는 물리학의 볼츠만 분포와 같은 온도 항으로, 높이면 엔트로피가 커져 출력이 다양해진다.
• KL 발산(상대 엔트로피)은 RLHF·PPO·VAE·확산모델·증류·결정트리까지 두루 나타나는 AI의 공통 언어다.

쉽게 이해하기

Vizuara의 “AI 멘탈 모델” 강의 9편은 물리학에서 빌려 온 개념 엔트로피를 다룬다. 강사는 물리학자도 정보이론 전문가도 아니라고 전제하면서, 엔트로피가 왜 인공지능 곳곳에 등장하는지 직관적으로 풀어준다.

엔트로피의 가장 쉬운 그림은 “어질러짐”이다. 방을 그대로 두면 어질러지고, 커피에 크림을 떨어뜨리면 퍼진다. 정돈된 상태의 배열은 하나지만 어질러진 배열은 수없이 많기 때문에, 무작위로 흔들면 거의 항상 무질서한 쪽에 도달한다. 이것이 “엔트로피는 증가한다”는 열역학 제2법칙이다.

볼츠만은 이 직관을 S=k·logW라는 식으로 옮겼다. W는 미시 배열의 수이고, 로그를 쓰는 이유는 두 시스템의 엔트로피를 더할 수 있게 하기 위해서다. 주사위 두 개의 합에서 7이 가장 자주 나오는 이유도, 7을 만드는 경우의 수가 가장 많아 엔트로피가 가장 크기 때문이다.

1948년 벨연구소의 클로드 섀넌은 잡음 섞인 전화선으로 정보를 잃지 않고 보내는 문제를 고민하다 “정보=놀라움”이라는 재해석에 도달했다. 흔한 소식은 정보가 거의 없고 드문 소식은 정보가 크다. 놀라움은 −logP이고, 엔트로피는 모든 결과에 대한 평균 놀라움이다. 놀랍게도 그는 볼츠만과 같은 형태의 식에 이르렀다.

이 개념은 AI에서 크로스엔트로피 손실로 만난다. 분류기의 손실은 정답 클래스 확률의 −logP이고, 언어모델이 다음 토큰을 예측할 때 쓰는 손실도 같은 식이다. 확률이 1이면 손실은 0, 확률이 낮을수록 손실이 급격히 커진다.

주요 인사이트

• 퍼플렉시티는 “모델이 몇 개의 동등한 선택지 사이에서 고르는 느낌인가”로, 값이 낮을수록 더 확신하는 모델이다.
• 챗봇의 온도가 “온도”라 불리는 이유는 우연이 아니다. 소프트맥스에 든 온도 항이 분자의 볼츠만 분포와 수학적으로 같기 때문이다. 온도를 낮추면 확률이 최선의 단어에 쏠려 저엔트로피(결정적)가 되고, 높이면 평평해져 고엔트로피(다양)가 된다.
• KL 발산은 “틀린 분포를 쓸 때 겪는 추가 놀라움”인 상대 엔트로피로, 두 확률분포가 얼마나 떨어져 있는지를 잰다. 믿음이 현실과 일치하면 0이 된다.
• KL 발산은 RLHF와 PPO에서 미세조정 모델이 원래 모델에서 너무 벗어나지 않게 붙잡고, VAE의 목적함수이며, 확산모델 유도와 지식 증류에도 등장한다.
• 결정트리가 특정 지점에서 갈라지는 이유도 엔트로피로 설명된다. 불확실성을 가장 많이 줄이는 지점에서 자르며, 이 감소량을 “정보 이득”이라 부른다.

자주 묻는 질문

관련 AI 소식