EM 알고리즘과 PCA 정리: 스탠퍼드 CS229 2026년 10강이 짚은 원리와 실무 함정

핵심 메시지

• EM은 다루기 어려운 우도 함수 대신, 현재 추정값에서 정확히 맞닿고 그 아래에 놓이는 '대리 함수'를 만들어 그것만 최적화하는 방식으로 동작한다.
• 대리 함수는 임의의 분포 Q(z)를 곱하고 나누어 기댓값 형태로 바꾼 뒤 옌센 부등식을 적용해 얻으며, Q(z)를 조건부확률 p(z|x)로 잡을 때 등호가 성립한다.
• EM은 값이 단조 증가하고 반드시 멈추지만 전역 최적해를 보장하지 않는 지역 탐색 기법이며, 잠재변수의 구조를 이미 알고 있다는 비교적 강한 가정 위에 서 있다.
• PCA는 데이터를 중심화하고 척도를 맞춘 뒤 공분산 행렬의 고유벡터를 찾는 절차이며, 투영된 분산의 최대화와 수직 잔차의 최소화는 같은 문제다.
• 상위 고윳값들이 서로 가까우면 주성분 방향이 하나로 정해지지 않아 실행할 때마다 좌표가 달라지고, 그 위에 얹은 모델이 흔들린다.

쉽게 이해하기

스탠퍼드 CS229 2026년 봄학기 10강은 비지도학습의 두 축을 이어 붙이는 수업이다. 앞 시간에 직관적으로만 제시했던 가우시안 혼합모델(GMM)의 갱신 규칙을 EM 알고리즘으로 정식 유도하고, 이어서 확률 모형을 쓰지 않는 대응물인 주성분분석(PCA)으로 넘어간다. 강의자는 PCA를 늘 쓰는 일꾼 같은 알고리즘이라고 부르며, 대학원생이 전날 밤에도 PCA 그림을 보내왔다는 이야기로 실무 빈도를 강조했다.

GMM의 출발점은 잠재변수다. 관측된 점들이 어느 발생원에서 나왔는지 알 수 없을 때 각 점에 어느 군집에 속하는지를 확률로 배분하는데, 한 점을 두 군집에 50%씩 나눠 줄 수 있다는 것이 점을 하나로 딱 잘라 배정하는 k-평균과의 결정적 차이다. 배분이 끝나면 평균과 공분산, 그리고 각 군집의 비율을 다시 추정한다. 군집이 타원으로 그려지는 이유도 되짚는데, 그것이 다변량 정규분포의 등확률 수준집합이고 타원의 축이 공분산의 고유 방향이기 때문이다.

EM의 뼈대는 그림 한 장으로 요약된다. 파라미터 전체를 한 축에 놓고 우도 곡선을 그린 뒤, 현재 추정값에서 곡선과 정확히 맞닿으면서 그 아래에 놓이는 대리 곡선을 새로 만들고 그 최댓값으로 이동한다. 맞닿아 있다는 성질 덕분에 새 추정값의 우도는 현재 값 이상이 되고, 따라서 값은 단조 증가하며 언젠가 멈춘다. 다만 강의자는 곡선을 아무렇게나 그릴 수 있다는 점을 들어 전역 최적은 보장되지 않는 지역 탐색임을 분명히 했다.

이 대리 함수를 만드는 과정이 유도의 핵심이다. 로그 우도 안에 임의의 분포 Q(z)를 곱하고 나눠도 값은 변하지 않지만 그 순간 식을 기댓값으로 읽을 수 있게 되고, 로그가 오목하므로 옌센 부등식으로 로그와 기댓값의 순서를 바꾸면 널리 쓰이는 증거 하한(ELBO)이 나온다. 등호는 분자와 분모의 비가 z에 무관할 때 성립하므로 Q(z)를 조건부확률로 잡으면 정확히 맞닿는 대리 함수가 되고, 이것이 곧 E 단계다. M 단계는 미분해 0으로 두는 익숙한 작업이지만, 합이 1로 묶인 군집 비율에서 라그랑주 승수를 빼먹으면 자유도가 하나 남아 이상한 답이 나온다고 짚었다.

후반부의 PCA는 도심 연비와 고속도로 연비를 두 축에 놓은 자동차 데이터로 시작한다. 평균을 빼서 원점으로 옮기지 않으면 얻어지는 방향이 변동의 축이 아니라 데이터 덩어리의 중심을 가리키고, 성분별 분산으로 척도를 맞추지 않으면 단위가 큰 축이 변동을 독차지하는 착시가 생긴다. 수학적으로 투영된 분산의 최대화는 수직 잔차의 최소화와 같은 문제이며, 결국 주성분은 중심화된 데이터의 공분산 행렬의 고유벡터가 된다. 강의자가 경고한 실패 조건은 상위 고윳값들이 서로 가까운 경우인데, 이때는 답이 방향 하나가 아니라 부분공간 전체가 되어 실행할 때마다 좌표가 달라지고 그 위에 학습한 모델이 흔들린다.

주요 인사이트

• EM과 PCA의 차이는 계산 기법이 아니라 '무엇을 가정했는가'에 있다. EM은 데이터 뒤에 정규분포 모양의 잠재 발생원이 있다고 가정하고, PCA는 데이터가 잘 분리된 저차원 부분공간에 놓여 있다고 가정한다. 강의자가 반복해서 강조한 것도 알고리즘의 성능이 아니라 이 가정의 타당성이었다.
• 증거 하한은 강의실 밖에서도 계속 등장한다. 강의자는 자기 연구실 대학원생이 다음 주 제출할 논문에서 잠재변수 모델의 ELBO를 쓰고 있다고 언급했고, 확산 모델도 내부적으로 같은 하한을 쓴다고 짚었다. 오래된 개념이지만 최신 생성모델의 기반에 그대로 남아 있는 셈이다.
• '수렴한다'와 '좋은 답에 도달한다'는 다른 말이다. EM은 우도가 단조 증가하므로 멈추는 것은 보장되지만, 도달 지점의 품질은 알고리즘이 아니라 손실 함수의 모양과 초기값이 결정한다. 경사하강법에서 함수가 가파른지 완만한지가 결과를 좌우하는 것과 같은 구도다.
• PCA의 위험은 계산 실패가 아니라 조용한 불안정성이다. 고윳값 간격이 좁을 때 나오는 좌표는 그 자체로는 그럴듯해 보이지만 재현되지 않는다. 강의자가 차원 축소 용도로 PCA를 쓰는 데 신중해야 한다고 말한 이유가 여기에 있다.
• 설명된 분산의 총량은 고윳값의 합, 즉 행렬의 대각합으로 구할 수 있어 전체 분해 없이도 계산된다. 큰 데이터에서도 상위 몇 개 방향만 구하는 이른바 얇은 PCA가 저렴하게 돌아가는 배경이다.

자주 묻는 질문

관련 AI 소식