EM 알고리즘과 가우시안 혼합 모델 이해하기: 결측 데이터와 군집화를 동시에 푸는 직관과 수식

핵심 메시지

• EM(기댓값 최대화) 알고리즘은 모수와 데이터 일부를 동시에 모를 때 둘을 번갈아 추정해 수렴시키는 기법이다.
• 모수를 알면 결측값을 추정할 수 있고, 데이터를 알면 모수를 추정할 수 있는 '닭과 달걀' 상황을 반복으로 해결한다.
• E 단계는 현재 모수 추정값을 가중치로 한 기댓값(로그 가능도)을 만들고, M 단계는 그 함수를 최대화하는 다음 모수를 구한다.
• 결측 데이터 문제와 가우시안 혼합 모델 같은 군집화에 널리 쓰이며, 미분 없이도 작동한다는 장점이 있다.

쉽게 이해하기

EM 알고리즘의 직관은 세 가지 질문으로 쌓아 올릴 수 있다. 첫째, 평균과 분산이 1인 정규분포에서 뽑은 1, 2, x 중 x를 모른다면 가장 합리적인 추정은 분포의 평균인 1이다. 둘째, 0, 1, 2 데이터가 모두 있고 평균만 모른다면 가장 좋은 추정은 세 값의 평균인 1이다. 즉 모수를 알면 결측값을, 데이터를 알면 모수를 쉽게 추정할 수 있다.

문제는 셋째 경우다. 1, 2, x에서 평균 μ도 모르고 데이터 x도 모르면, 하나를 알아야 다른 하나를 구할 수 있는 '닭과 달걀' 상황이 된다. EM은 이를 반복적 추측으로 푼다. μ를 0으로 가정하면 x도 0으로 추정되고, x를 0으로 두면 평균은 (1+2+0)/3=1이 되며, 다시 x는 1, 평균은 4/3으로 갱신된다. 이 과정을 반복하면 결국 x와 μ가 모두 1.5로 수렴한다.

흥미롭게도 이 과정에는 미분이 전혀 등장하지 않는다. 보통 무언가를 최대화·최소화할 때는 도함수를 0으로 놓고 방정식을 푸는데, EM은 그런 계산 없이 작은 갱신을 번갈아 반복하는 것만으로 해를 찾는다. 도함수를 구하기가 매우 까다로운 문제에서, 경사하강법보다 느릴 수 있어도 이해하기 쉽고 해석 가능한 대안이 된다.

수식으로 보면 알고리즘은 세 단계다. 먼저 모수 μ의 초깃값을 적당히 추측한다(가진 데이터의 평균이 무난한 출발점이다). E 단계는 '기댓값 로그 가능도' 함수를 만드는데, 이는 가능한 모든 결측값 x에 대해 적분(가중합)하는 형태다. 가중치는 현재 추정값에서 그 x가 나올 확률이고, 곱해지는 값은 다음에 제안할 μ로 그 데이터를 봤을 때의 로그 가능도다. 즉 지금 가장 그럴듯한 결측값에 큰 비중을 둔다.

M 단계는 이 함수를 최대화하는 μ를 다음 추정값으로 삼는 것이다. 이후 E와 M 단계가 번갈아 반복되며 μ가 거의 움직이지 않을 때까지 진행된다. 모수가 정해지면 결측값은 손쉽게 추정된다. 이 방법은 결측 데이터 문제뿐 아니라 가우시안 혼합 모델 같은 군집화에도 쓰인다. 어떤 점이 어느 군집에 속하는지와 각 군집을 만든 정규분포의 평균·분산을 동시에 추정해야 하는데, 이는 평균과 데이터를 동시에 모르는 같은 구조이기 때문이다.

주요 인사이트

• EM이 항상 수렴하는 이유는 E와 M 단계를 한 번 거칠 때마다 가능도 함수가 이전보다 나빠지지 않기 때문이다. 가능도에 최댓값이 있다면 적어도 지역 최적해로 향해 간다.
• E 단계 식에 현재 추정값(μ_0)과 다음 제안값(μ)이 함께 등장하는 이유는, '지금 가장 그럴듯한 결측값'에 대해 '다음에 제안할 모수의 가능도'를 따지기 때문이다.
• 적분은 결국 무한히 더하는 가중합이며, 가중치가 매우 작은 x는 그 항의 가능도 값이 무엇이든 함수 전체에 거의 영향을 주지 못한다.
• EM은 경사하강법처럼 도함수에 의존하지 않아 미분이 어려운 문제에서 강력하지만, 보장되는 것은 전역 최적이 아니라 지역 최적이라는 한계가 있다.

자주 묻는 질문

관련 AI 소식