k-평균과 가우시안 혼합모델 정리 — 스탠퍼드 CS229 2026년 9강이 짚은 가정과 한계

핵심 메시지

• 비지도학습은 지도학습보다 어렵다. 라벨이라는 구조를 버린 대신 더 강한 가정을 세우고 더 약한 보장을 받아들여야 한다는 것이 강의의 출발점이다.
• k-평균은 배정과 중심 갱신을 반복하는 단순한 알고리즘이지만, 뒤에 깔린 제곱거리 합이 단조 감소하기 때문에 진동하지 않고 멈춘다. 다만 줄어드는 속도에 대해서는 아무것도 보장하지 않는다.
• 최적 군집을 찾는 문제 자체가 NP-난해이므로 이 알고리즘은 전역 최적해를 찾지 못하고 여러 지역 최적해에 갇힐 수 있다. 그래서 초기값이 결과를 크게 좌우하며, 이를 개선한 k-means++ 초기화가 사이킷런의 기본값으로 쓰인다.
• 군집 개수 K는 데이터가 알려주는 값이 아니라 사용자가 세우는 모델링 가정이다. K를 늘리면 평균 비용은 계속 줄어들기 때문에 비용만으로는 좋은 K를 가릴 수 없다.
• 가우시안 혼합모델은 같은 절차를 확률로 바꾼 것이다. 한 점을 한 군집에 딱 배정하는 대신 각 발생원에서 나왔을 확률을 배분하고, 그 가중치로 평균·공분산·혼합 비율을 다시 추정한다.

쉽게 이해하기

스탠퍼드 CS229 2026년 봄학기 9강은 라벨이 없는 데이터를 다루는 두 알고리즘, k-평균과 가우시안 혼합모델(GMM)을 나란히 놓는다. 강의자는 알고리즘 자체는 5분이면 찾아볼 수 있다고 전제하면서, 이 단원의 교육적 목적은 다른 데 있다고 말한다. 우리가 무엇을 모델링하고 있는지, 어떤 구조를 모델에 집어넣고 있는지, 거기서 무엇을 꺼내려 하는지를 강제로 마주하게 만든다는 것이다.

출발점은 지도학습과의 대비다. 양성과 음성 라벨이 있으면 '두 집합을 정확히 가르는 선'이라는 분명한 목표가 서지만, 라벨을 지우면 무엇이 좋은 모델인지부터 불분명해진다. 강의자는 이 지점을 두 문장으로 정리한다. 더 강한 가정을 세우고, 더 약한 보장을 받아들여야 한다. 실제로 k-평균의 최적해를 찾는 문제는 NP-난해라서 계산적으로도 더 까다롭다.

k-평균 자체는 직관적이다. 중심점을 무작위로 두고, 각 점을 가장 가까운 중심에 배정하고, 배정된 점들의 산술평균으로 중심을 옮기고, 배정이 바뀌지 않을 때까지 반복한다. 학생들의 질문은 곧장 핵심을 찔렀다. 이 반복이 영원히 진동하지는 않는가, 전역 최적해를 찾는가, 지역 최적해가 여럿 있는가. 답은 순서대로 '멈춘다(제곱거리 합이 단조 감소하므로)', '찾지 못한다', '있다'였다. 그래서 초기화가 중요해지고, 스탠퍼드 대학원생들이 만든 k-means++가 시작점에 가중치를 주는 방식으로 근사 보장을 얻어 오늘날 사이킷런의 기본 초기화로 자리 잡았다.

가장 많은 시간이 할애된 것은 K를 어떻게 고르느냐였다. 강의자는 점 몇 개를 그려놓고 여기에 군집이 둘인지 넷인지 물으며, 두 답 모두 나름대로 옳고 문제가 근본적으로 미결정 상태임을 보여준다. K를 키우면 평균 비용은 계속 내려가므로 비용 비교만으로는 K를 고를 수 없고, 비용 곡선의 꺾이는 지점을 보는 관행 역시 결정적인 근거가 되지 못한다. 그가 더 신뢰하는 것은 모델 바깥의 정보다. 유전자 발현처럼 군집이 실재한다고 믿을 근거가 따로 있거나, 관측 대상의 물리적 성질을 통해 결과를 검증할 다른 방법이 있을 때 이 알고리즘이 의미를 갖는다. 구조 없는 점들의 산포에 k-평균을 돌리면 무언가는 나오지만 그것은 아무 뜻도 없다.

GMM은 여기서 자연스럽게 이어진다. 강의자가 든 예시는 퀘이사와 별처럼 서로 다른 광원에서 날아온 광자들이 한 판에 찍힌 상황으로, 어떤 광원은 좁은 영역에 높은 밀도로 쏟아지고 어떤 광원은 넓게 퍼진다. 이때 각 광자를 한 광원에 못 박듯 배정하는 대신 어느 광원에서 왔을 확률을 배분하며, 관측되지 않는 이 소속 변수가 잠재변수이고 이를 추정하는 단계와 그 추정으로 평균·분산·혼합 비율을 갱신하는 단계를 번갈아 도는 것이 EM 알고리즘의 뼈대다. 강의 마지막은 볼록성과 옌센 부등식으로 향하는데, 강의자는 옌센 부등식이 신비로운 결과처럼 소개되곤 하지만 사실 볼록성의 정의 그 자체이며 다음 시간에 다루기 어려운 우도 대신 최적화하기 쉬운 대리 함수를 세울 때 쓰는 도구라고 못박는다.

주요 인사이트

• '멈추는가'와 '옳은 답을 찾는가'는 별개의 질문이다. k-평균은 단조 감소 덕분에 반드시 멈추지만 그 사실이 결과의 품질을 전혀 보장하지 않는다는 점을, 강의는 학생들의 질문을 따라가며 분리해 보여준다.
• 초기화가 결과를 바꾼다는 사실은 알고리즘의 결함처럼 들리지만, 실제로는 지역 최적해가 여럿이라는 구조적 사실의 부산물이다. 이 때문에 서로 다른 시작점으로 여러 번 돌려보는 재시작이 실무 관행이 된다.
• K를 고르는 일은 통계적 절차가 아니라 세계에 대한 진술이다. 군집이 둘이라고 선언하는 순간, 사건이 일어나는 곳과 그렇지 않은 곳이 있다거나 데이터 출처가 다섯 개라는 식의 가정을 이미 세운 셈이다.
• 적합도 지표에 대한 강의자의 태도는 실용적이다. 같은 모델 파라미터에 의존하는 지표보다, 모델 바깥에서 온 보조 정보가 군집의 타당성을 훨씬 잘 검증한다고 본다. 다음 강의에서 다룰 PCA에는 고윳값 꼬리를 이용한 진짜 적합도 검정이 있다는 점과 대비된다.
• GMM의 혼합 비율은 사전분포가 아니라 데이터에서 함께 추정하는 값이다. 한 발생원이 다른 발생원보다 100배 많은 점을 뿜어낸다면 경계에 놓인 점은 그쪽에서 왔을 가능성이 커지는데, 이 추론이 곧 베이즈 규칙이 하는 일이다.

자주 묻는 질문

관련 AI 소식