확산 모델 원리 정리: 스탠퍼드 CS229 강의로 보는 노이즈 추가 과정과 역과정 학습 방법

핵심 메시지

• 확산 모델은 이미지 생성에서 적대적 생성 신경망(GAN)과 변분 오토인코더를 대체했고, CS229에서는 이제 두 기법을 정규 수업에서 다루지 않을 정도가 됐다.
• 정방향 과정은 학습 대상이 아니라 사람이 설계한 고정된 절차다. 깨끗한 이미지를 조금 줄이고 소량의 가우시안 잡음을 더하는 일을 수천 번 반복할 뿐이다.
• 잡음을 더해도 전체 크기가 유지되도록 계수를 잡아 두었기 때문에, 단계를 충분히 거치면 결과는 표준정규분포에 수렴한다.
• 역과정은 알 수 없는 분포이므로 평균만 신경망으로 예측하는 가우시안으로 근사하며, 이것이 타당한 이유는 연속 시간 극한에서 역과정도 가우시안이라는 확률과정 이론에 있다.
• 학습 목표는 EM 알고리즘에서 쓰던 증거 하한을 그대로 가져와 유도하며, 최종적으로는 신경망이 예측한 평균과 계산 가능한 목표 평균의 차이를 줄이는 문제로 정리된다.

쉽게 이해하기

스탠퍼드 CS229 2026년 봄학기 11강은 확산 모델을 다룬다. 강의는 확산 모델이 지난 강의에서 다룬 EM 알고리즘과 밀접하게 이어진다는 이유로 순서를 앞당겨 배치됐다. 목표는 명확하다. 자연 이미지 데이터가 주어졌을 때, 그와 같은 분포에서 나온 것처럼 보이지만 데이터에는 없던 새로운 이미지를 만들어내는 모델을 학습시키는 것이다.

확산 모델은 이 문제의 사실상 표준이 됐다. 강의자는 예전에는 적대적 생성 신경망과 변분 오토인코더를 썼지만 확산 모델이 두 방법보다 훨씬 낫기 때문에 이제는 수업에서 다루지 않는다고 말한다. 적용 범위도 이미지에 머물지 않는다. 영상 생성은 물론이고 로보틱스에서도 쓰이는데, 시각·언어·행동을 함께 다루는 모델 상당수가 행동을 생성할 때 확산 모델을 쓴다. 언어 쪽 연구도 진행 중이며, 병렬 생성이 가능해 자기회귀 모델보다 추론이 빠를 수 있다는 점이 장점으로 꼽힌다.

핵심 구조는 두 방향의 과정이다. 정방향은 깨끗한 이미지에서 출발해 매 단계 이미지를 아주 조금 줄이고 그만큼의 가우시안 잡음을 더한다. 계수는 잡음을 섞되 전체 크기는 그대로 두도록 설계돼 있어서, 데이터를 정규화해 두면 공분산이 단위행렬로 유지된다. 단계를 거듭할수록 원본의 기여분은 0으로 수렴하고 결과는 표준정규분포가 된다. 원래 논문은 이 단계를 수천 번 두었다. 중요한 점은 이 과정에 학습이 전혀 없다는 것이다. 사람이 정한 규칙을 그대로 돌릴 뿐이며, 정방향까지 학습해야 했던 변분 오토인코더와 갈라지는 지점이 여기다.

학습해야 하는 것은 역방향이다. 잡음이 섞인 이미지에서 한 단계 더 깨끗한 이미지를 되돌리는 분포는 원리상 존재하지만 우리는 그 값을 모른다. 그래서 평균을 신경망으로 예측하고 분산은 미리 정해 두는 가우시안으로 근사한다. 강의에서는 왜 하필 가우시안이냐는 질문이 나왔고, 두 가지 답이 제시됐다. 하나는 직관이다. 어떤 지점에 도달했더라도 어느 경로를 거쳐 왔는지 알 수 없으니 역방향에는 필연적으로 불확실성이 남는다. 다른 하나는 연속 시간으로 넘어가면 역방향 확률미분방정식도 가우시안 형태가 된다는, 1980년대에 정리된 결과다.

훈련은 최대우도를 직접 계산할 수 없으므로 증거 하한을 최대화하는 방식으로 진행된다. 잡음이 섞인 중간 단계 전체를 잠재변수로 두면 지난 강의의 공식을 그대로 쓸 수 있다. 여기에 KL 발산의 연쇄법칙을 적용하면 전체 궤적에 대한 하나의 큰 항이 단계별 항의 합으로 쪼개진다. 그리고 원본 이미지를 조건으로 붙이면 목표 분포가 원본과 현재 이미지의 선형결합을 평균으로 갖는 가우시안으로 정확히 계산된다. 신경망의 분산을 이 목표와 같게 잡으면 두 가우시안의 KL 발산은 평균 차이의 제곱으로 단순해지고, 결국 학습은 예측한 평균을 계산 가능한 목표 평균에 맞추는 문제가 된다.

주요 인사이트

• 왜 한 번에 되돌리지 않고 수천 단계를 거치느냐는 질문에 강의자는 한 번에 뛰는 편이 오히려 훨씬 어렵다고 답했다. 잡음을 조금씩 더했으니 제거도 조금씩 하는 편이 학습에 유리하다는 것이다.
• 정방향 과정에 학습이 전혀 없다는 점은 확산 모델을 이해하는 데 결정적이다. 변분 오토인코더가 인코더와 디코더를 모두 학습해야 했던 것과 달리, 확산 모델은 절반을 고정된 설계로 못 박고 나머지 절반만 학습한다.
• 표기법 자체가 진입 장벽이 되기도 한다. 강의자는 확률변수와 그 값이 같은 기호를 쓰고, 조건부 분포와 밀도값이 구분 없이 표기되는 관행을 짚으면서, 논문을 읽을 때 이 모호함을 감안해야 한다고 조언했다.
• 강의 도중 학생이 계수에 제곱근이 빠졌다고 지적해 판서가 즉석에서 수정됐다. 널리 쓰이는 표기가 분산 대신 표준편차를 앞에 두는 형태라 수학 쪽 관습과 어긋나는데, 이 분야는 최초 논문의 표기로 수렴해 버렸다는 설명도 곁들여졌다.
• 수천 단계로 학습한 뒤 나중에 훨씬 적은 단계로 생성하는 방법이 개발됐지만, 강의자는 일단 많은 단계로 학습해 두고 그다음에 빠르게 만드는 순서가 일반적이라고 정리했다.

자주 묻는 질문

관련 AI 소식