크로스 엔트로피 쉽게 이해하기: 압축, 엔트로피, 그리고 언어 모델 학습 손실함수의 연결

핵심 메시지

• 크로스 엔트로피는 '한 상황(Q)에 최적화된 압축 코드가 다른 상황(P)에서 얼마나 비효율적인가'를 재는 값이다.
• 최적 코드에서 한 기호에 배정되는 비트 수는 그 기호 확률의 음의 로그(-log2 p)이며, 이것이 섀넌이 말한 정보량이다.
• 크로스 엔트로피는 Q가 실제 분포 P와 같아질 때 최소가 되고, 그 최솟값이 바로 P의 엔트로피다.
• 대규모 언어 모델의 학습 손실(크로스 엔트로피 손실)은 결국 '토큰당 평균 정보량', 즉 실제 다음 토큰에 모델이 준 확률의 음의 로그 평균이다.
• 손실이 데이터 통계와 일치할 때만 최소가 되도록 요구하면 함수는 로그일 수밖에 없어, 크로스 엔트로피 공식이 자연히 도출된다.

쉽게 이해하기

영상은 2002년 논문 '언어 트리와 압축(Language Trees and Zipping)'에서 이야기를 연다. 언어학 지식을 전혀 넣지 않고, 여러 언어로 된 문서들을 gzip 같은 일반 파일 압축만으로 묶어 언어별로 군집화하고, 나아가 언어들의 계통 관계까지 복원할 수 있었다는 사례다. 문서 A에 B의 일부를 이어 붙여 압축한 크기를 A만 압축한 크기와 비교하면, B의 언어 패턴이 A와 얼마나 닮았는지가 드러난다.

이 아이디어의 밑바탕이 크로스 엔트로피다. 로봇에게 상하좌우 명령을 보내는 장난감 예시에서, 위 50%·아래 25%·좌우 각 12.5%인 분포에 최적화하면 위는 1비트, 아래는 2비트, 좌우는 각 3비트로 부호화하는 것이 최선이다. 일반화하면 어떤 기호든 그 확률의 음의 로그만큼 비트를 배정하는 것이 최적이다.

그런데 실제 분포가 바뀌어(위·아래 각 1/8, 왼쪽 1/4, 오른쪽 1/2) 옛 코드를 그대로 쓰면 메시지당 평균 2.625비트가 든다. 이 값이 바로 '원래 분포에 최적화된 코드가 새 분포에서 쓰일 때'의 크로스 엔트로피다. 두 분포의 역할을 바꾸면 값도 달라진다는 점에서 순서가 중요하다.

핵심 성질은 P를 고정하고 Q를 움직이면 크로스 엔트로피가 Q=P에서 최소가 되며, 그 최솟값이 P의 엔트로피라는 것이다. 이 성질 때문에 크로스 엔트로피는 '한 쪽의 패턴이 다른 쪽과 얼마나 다른가'를 재는 도구로 쓰인다.

언어 모델 학습에서는 데이터의 각 지점마다 모델이 실제 다음 토큰에 부여한 확률을 보고, 그 음의 로그(놀라움의 정도)를 모든 토큰에 대해 평균한 것을 손실로 삼는다. 왜 하필 로그인가는 '모델 출력이 데이터 통계와 일치할 때만 손실이 최소'라는 조건에서 나온다. 이 조건을 만족하려면 손실 함수의 도함수가 1/q 꼴이어야 하고, 그런 성질은 로그만 가진다.

주요 인사이트

• 압축과 기계 학습은 별개처럼 보이지만, 같은 공식(크로스 엔트로피)이 두 곳에서 나타난다는 것은 둘 사이에 숨은 연결이 있다는 신호다.
• '다음 토큰 예측'으로만 이해하던 언어 모델 학습을, '언어를 잘 압축하도록 훈련하는 일'로 다시 바라볼 수 있다.
• 증류(distillation)에서는 작은 모델을 정답 토큰 하나가 아니라 큰 모델의 전체 확률 분포에 맞춰 학습시킨다. 한 판을 지켜보는 것과, 고수가 매 수의 좋은 선택지들을 짚어 주는 것의 차이에 비유된다.
• KL 발산은 '크로스 엔트로피 − 엔트로피', 즉 잘못 최적화된 코드가 기호당 낭비하는 비트 수이며, P와 Q의 순서를 바꾸면 값이 달라지는 비대칭 척도다.

자주 묻는 질문

관련 AI 소식