생성 모델 vs 판별 모델 차이 — 나이브 베이즈와 로지스틱 회귀로 이해하기

핵심 메시지

• 판별 모델은 P(Y|X), 즉 '주어진 특징에서 어느 클래스인가'만 학습해 경계선을 직접 긋는다. 로지스틱 회귀가 대표 예다.
• 생성 모델은 결합확률 P(X,Y)를 학습해 각 클래스의 분포 자체를 모델링한다. 여기서 조건부확률이 저절로 유도되고 새 데이터도 만들어낼 수 있다. 나이브 베이즈가 대표 예다.
• 데이터가 적을 때는 가정이 강한 생성 모델이 빠르게 배워 앞서지만, 데이터가 충분해지면 가정이 적은 판별 모델이 더 낮은 오차로 역전한다.
• 나이브 베이즈와 로지스틱 회귀는 사실 같은 로지스틱 형태의 P(Y|X)에 도달하는 '한 쌍'으로, 경계에 이르는 경로만 다르다.
• 결국 '어느 알고리즘이 더 나은가'가 아니라 '세상 전체를 모델링할 것인가, 경계선만 그을 것인가'라는 철학의 문제다.

쉽게 이해하기

두 클래스로 나뉜 점들이 흩어져 있고 새 점이 어디에 속하는지 맞혀야 한다고 하자. 접근법은 완전히 두 가지다. 하나는 각 클래스가 실제로 어떻게 생겼는지—파란 구름과 빨간 구름의 모양—를 통째로 학습해 새 점까지 그려낼 수 있을 만큼 이해하는 방식이고, 다른 하나는 그 모든 걸 무시하고 오직 '경계선이 어디 지나가는가'만 묻는 방식이다. 둘 다 분류를 하지만 속으로는 전혀 다른 문제를 푼다.

경계선을 긋는 쪽은 조건부확률 P(Y|X), 즉 '내가 본 것이 주어졌을 때 어느 클래스인가'만 모델링한다. 이를 판별(discriminative) 모델이라 한다. 세상을 모델링하는 쪽은 결합확률 P(X,Y), 곧 특징과 라벨이 함께 나타나는 방식을 배운다. 이를 생성(generative) 모델이라 한다. 결합확률이 더 풍부한 이유는, 일단 그것을 손에 넣으면 조건부확률의 정의에 따라 P(Y|X)가 공짜로 따라 나오고 동시에 특징 X 자체의 분포도 알기에 새 데이터를 상상해 만들어낼 수 있기 때문이다.

생성 모델은 각 클래스마다 클래스 조건부 밀도 P(X|Y)와 사전확률 P(Y)를 따로 학습한 뒤 곱해 결합확률을 조립한다. 새 점은 베이즈 규칙으로 각 조각을 합쳐 가장 높은 점수의 클래스를 고른다. 나이브 베이즈가 바로 이 방식이다. 반면 판별 모델은 클래스가 어떻게 생겼는지 절대 묻지 않고 오직 P(Y|X) 함수 하나를 직접 다듬어 경계가 제자리에 오게 한다. 로지스틱 회귀가 선형 점수를 시그모이드로 눌러 경계를 옮기는 고전적 예다.

그렇다면 누가 이길까. 학습 데이터를 점점 늘려가며 시험 오차를 그려보면, 생성 모델은 강한 가정을 내장한 덕에 추정할 것이 적어 데이터가 부족할 때 빠르게 배우고 앞선다. 하지만 그 가정이 대개 조금은 틀리기에 오차가 더 높은 바닥에서 평평해진다. 판별 모델은 가정이 적어 출발엔 더 많은 데이터가 필요하지만 충분히 주어지면 더 낮은 오차에 안착한다. 두 곡선은 교차한다—적은 예제에선 생성이, 많은 데이터에선 판별이 앞선다.

마지막으로 둘을 잇는 연결고리가 있다. 나이브 베이즈와 로지스틱 회귀는 우연한 맞수가 아니라 같은 로지스틱 형태의 P(Y|X)로 귀결되는 한 쌍이다. 나이브 베이즈는 세상 전체를 모델링하고 경계가 저절로 떨어지게 하는 간접 경로로, 로지스틱 회귀는 경계를 직접 깎는 직접 경로로 같은 곳에 도착한다. 그래서 진짜 질문은 알고리즘의 우열이 아니라 접근의 철학이다.

주요 인사이트

• 결합확률 P(X,Y)를 가지면 조건부확률 P(Y|X)는 나눗셈 한 번으로 얻지만 그 역은 성립하지 않는다. 판별 모델은 경계는 알아도 X가 어떻게 생겼는지 전혀 모른다.
• 생성 모델이 새 데이터를 샘플링해 만들 수 있는 것은 X 자체의 분포를 모델링하기 때문이다. 판별 모델에게 그럴듯한 새 점을 만들라고 하면 아예 불가능하다.
• 생성 모델의 강한 가정은 양날의 검이다. 적은 데이터에서 빠른 학습을 가능케 하지만 그 가정이 조금 틀리기에 오차 바닥이 더 높다.
• '데이터가 적으면 생성, 많으면 판별'이라는 교차 현상은 모델 선택이 데이터 규모에 달려 있음을 보여준다.
• 나이브 베이즈의 '나이브(순진한)'는 밀도 계산을 값싸게 유지하려는 지름길, 곧 특징 독립 가정에서 온다.

자주 묻는 질문

관련 AI 소식