가우시안 판별분석(GDA)과 나이브 베이즈 정리: 스탠퍼드 CS229 2026년 5강 생성모델 입문

핵심 메시지

• 판별모델은 라벨을 가르는 경계만 배우지만, 생성모델은 각 클래스의 데이터가 어떻게 생겼는지를 따로 모형화한 뒤 베이즈 규칙으로 분류한다.
• GDA는 두 클래스가 서로 다른 평균과 '같은' 공분산을 갖는다고 가정하며, 이 가정 덕분에 경사하강 없이 세는 것과 평균 계산만으로 파라미터가 닫힌 형태로 구해진다.
• 공분산을 공유하면 이차항이 상쇄되어 결정 경계가 직선이 되고, 클래스마다 공분산을 따로 두면(QDA) 경계가 곡선으로 바뀐다.
• GDA의 사후확률은 로지스틱 회귀와 같은 시그모이드 형태가 되며, 지수족을 가정한 여러 생성모델이 결국 같은 판별모델로 수렴한다.
• 나이브 베이즈는 단어가 클래스 조건부로 독립이라는 명백히 틀린 가정을 넣어 2^D개의 파라미터를 2D+1개로 줄이고, 그 대가로 학습과 추론이 매우 싸진다.

쉽게 이해하기

스탠퍼드 CS229 2026년 봄학기 5강은 이 수업에서 처음으로 생성모델을 다루는 시간이다. 강의자는 첫머리부터 생성모델이 'GPT의 G'라고 못박으며, 지금까지 배운 선형회귀와 로지스틱회귀, 지수족이 모두 데이터가 주어졌을 때 라벨의 확률을 다루는 판별적 접근이었다고 정리한다. 이번 시간에는 방향을 뒤집어 라벨이 주어졌을 때 데이터가 어떻게 생겼는지를 모형화한다.

직관은 고양이와 코끼리를 나누는 가상의 예시로 설명된다. 판별모델이 두 클래스가 맞닿는 지점에 계산 자원을 몰아 쓰는 반면, 생성모델은 고양이 무리와 코끼리 무리를 각각 따로 모형화한 뒤 새로운 점이 어느 쪽에서 더 그럴듯한지를 비교한다. 여기에 각 클래스가 얼마나 흔한지를 나타내는 사전확률을 곱해 베이즈 규칙으로 판단하므로, 학습 데이터에 고양이가 100만 마리이고 코끼리가 한 마리였다면 애매한 점은 고양이 쪽으로 기운다.

본론인 GDA는 여기서 한 가지를 더 단순화한다. 두 클래스의 평균은 다르되 공분산 행렬은 똑같이 공유한다고 가정하는 것이다. 학생이 코끼리와 고양이의 분산이 같을 리 없지 않냐고 묻자 강의자는 그 지적이 맞다고 인정하면서도, 고차원에서 공분산을 클래스마다 따로 추정하면 파라미터가 차원의 제곱 규모로 늘어나 그만한 값을 하는지가 늘 선택의 문제라고 답했다. 배워야 할 것은 클래스 사전확률과 두 개의 평균 벡터, 공유 공분산 네 가지뿐이다.

이 가정의 보상은 두 가지다. 첫째, 최대우도 추정이 경사하강 없이 닫힌 형태로 풀린다. 사전확률은 클래스 비율을 세고, 평균은 각 클래스 점들의 평균이며, 공분산은 모든 점을 각자의 클래스 평균에서 뺀 뒤 한데 모아 계산한다. 둘째, 공분산이 공유되면 두 클래스의 로그 확률을 비교할 때 이차항이 서로 지워져 결정 경계가 직선이 되고, 클래스마다 공분산을 따로 두면 그 상쇄가 사라져 곡선 경계인 QDA가 된다.

그래서 결론이 묘해진다. 데이터 분포까지 공들여 모형화했는데 나온 것은 판별모델이 곧장 뽑아내는 것과 같은 직선이고, GDA의 사후확률을 정리하면 로지스틱 회귀와 똑같은 시그모이드 형태가 된다. 강의자는 'GDA는 가정이 강해 효율적이지만 취약하고 로지스틱 회귀는 가정이 약해 견고하다'는 교과서적 정리를 스스로 오해를 부르는 설명이라 부르며, 지난 10~15년의 실제 진보가 데이터 자체를 모형화하는 생성 쪽에서 나왔다고 강조했다. 마지막 순서인 나이브 베이즈는 스팸 필터를 예로 들어, 클래스 조건부 독립이라는 명백히 틀린 가정을 넣어 파라미터를 2의 D승에서 2D+1로 떨어뜨리고 라플라스 평활로 0 확률을 막는 방식을 보여 준다.

주요 인사이트

• 생성모델의 가치는 '더 잘 맞히기'가 아니라 '데이터가 어떻게 만들어졌는지에 대한 표현을 얻는 것'에 있다. 같은 직선을 내놓더라도 그 과정에서 얻은 표현이 이후 생성·전이·미세조정으로 이어진다.
• 닫힌 형태 해가 존재한다고 해서 학습이 아닌 것은 아니다. 경사하강은 최대우도를 푸는 여러 방법 중 하나일 뿐이고, GDA는 답을 대입할 수 있어 그 절차를 건너뛸 뿐이다.
• 공분산 행렬의 역행렬에 0이 나타나면 그 두 변수는 조건부 독립이라는 성질이 있다. 공분산 자체에서는 잘 보이지 않는 정보이며, 데이터 소스가 서로 독립인지 가늠하는 실무적 점검법으로도 쓸 수 있다.
• QDA처럼 곡선 경계를 쓰면 데이터가 전혀 없는 먼 영역에서 납득하기 어려운 판정이 나온다. 다만 직선 모델도 데이터에서 멀어지면 똑같이 근거 없는 외삽을 하고 있으며, 곡선일 때 그 사실이 눈에 더 잘 띌 뿐이다.
• 강의자는 이번 강의 슬라이드의 그림과 플롯 상당수를 Claude로 다시 그렸다고 밝히고, 몇몇 결과물은 마음에 들지 않아 직접 손으로 그려 설명했다. 결정면 그림에 대해서도 '나도 AI도 믿지 말고 직접 확인하라'고 학생들에게 말했다.

자주 묻는 질문

관련 AI 소식