KL 발산이 대칭이 아닌 이유: 샐러드와 동전 예시로 이해하는 확률분포 사이의 거리

핵심 메시지

• KL 발산은 두 확률분포가 얼마나 다른지를 재지만, 두 분포의 순서를 바꾸면 값이 달라지는 비대칭 측도다.
• P와 Q에 대한 KL 발산은 'P에서 표본을 뽑았을 때 그 결과가 Q처럼 보이면 얼마나 놀라운가'로 해석할 수 있다.
• 샐러드에서 토마토가 나오는 것은 놀랍지 않지만, 토마토 봉지에서 샐러드가 나오는 것은 매우 놀랍다는 비유가 비대칭성을 설명한다.
• 공정한 동전과 항상 앞면만 나오는 동전을 비교하면 한 방향은 log 2, 반대 방향은 무한대가 나온다.
• 핵심은 두 분포가 얼마나 닮았는지가 아니라, 한쪽에서 다른 쪽을 얻어낼 가능성이 얼마나 되는지다.

쉽게 이해하기

확률분포 사이의 차이를 재는 도구로 KL 발산이 자주 쓰인다. 세 분포 P, Q, R이 있고 P와 Q는 서로 비슷하며 둘 다 R과는 많이 다르다면, 이들을 평면 위의 점으로 놓고 사이의 거리를 재는 그림을 떠올리게 된다. 그런데 여기서 이상한 일이 벌어진다. P에서 Q까지의 거리와 Q에서 P까지의 거리가 같지 않다는 것이다.

우리가 아는 물리적 거리는 이렇지 않다. 내가 상대에게서 5미터 떨어져 있다면 상대도 나에게서 5미터 떨어져 있다. 하지만 KL 발산에서는 P와 Q의 값이 크게 나오면서 동시에 Q와 P의 값이 작게 나올 수 있다. 수식만 봐도 이유의 일부는 보인다. 이산 분포든 연속 분포든, P와 Q의 자리를 바꾸면 서로 다른 식이 되고 정리해도 같아지지 않는다.

영상은 수식 대신 하나의 해석을 제시한다. P와 Q에 대한 KL 발산은 'P에서 여러 점을 뽑아 그 분포를 그렸을 때, 결과가 Q라면 나는 얼마나 놀랄까'라는 물음이라는 것이다. 반대로 Q와 P에 대한 KL 발산은 Q에서 뽑은 표본이 P처럼 보일 때의 놀라움이 된다. 이렇게 놓고 보면 두 값이 같아야 할 이유가 애초에 없다는 것이 분명해진다.

샐러드와 토마토 비유가 이 지점을 잘 보여준다. 샐러드에서 아무거나 집어 올렸을 때 토마토가 나오는 것은 그리 놀랍지 않으므로 이 방향의 KL 발산은 작다. 반대로 토마토만 든 봉지에서 상추와 양파까지 섞인 샐러드를 얻는 일은 일어나지 않으므로 놀라움이 크고, KL 발산도 크다. 두 대상이 얼마나 닮았는지가 아니라 어느 쪽에서 어느 쪽을 뽑아낼 수 있는지가 값을 결정한다.

숫자로 확인하면 더 선명하다. 앞뒤가 각각 0.5인 공정한 동전과, 앞면 확률이 1이고 뒷면 확률이 0인 조작된 동전을 비교해 보자. 공정한 동전을 기준으로 삼는 방향에서는 뒷면 확률 0으로 나누는 항이 생기는데, 극한으로 따지면 값이 발산해 무한대가 된다. 앞면만 나오는 동전을 던져 앞뒤가 반반씩 나온다면 무한히 놀랄 일이니 이치에 맞는 결과다. 반대 방향은 계산하면 log 2로, 공정한 동전이 앞면을 냈다고 크게 놀랄 일은 아니라는 뜻이다.

주요 인사이트

• KL 발산을 '거리'라는 말로 부르는 순간 잘못된 직관이 따라붙는다. 순서를 바꾸면 값이 달라지므로, 어떤 분포를 기준으로 삼았는지를 항상 함께 말해야 한다.
• 비대칭성의 뿌리는 0 확률에 있다. 기준 분포에서는 일어날 수 있는 사건이 비교 대상 분포에서 확률 0이면 값이 무한대로 발산하므로, 어느 쪽을 분모에 두느냐가 결과를 완전히 뒤바꾼다.
• '놀라움'이라는 해석은 수식을 외우지 않고도 방향을 판단하게 해 준다. 표본을 어느 분포에서 뽑아 어느 분포로 설명하려는지 정하면 크고 작음을 감으로 짚을 수 있다.
• 실무에서 어느 방향의 KL 발산을 최소화하느냐에 따라 결과가 달라진다는 점도 여기서 따라 나온다. 넓게 퍼진 분포로 좁은 분포를 설명할 때와 그 반대일 때의 대가가 서로 다르기 때문이다.

자주 묻는 질문

관련 AI 소식