확산모델(Diffusion) 원리 정리: 스탠퍼드 CME296 1강 DDPM과 DDIM

핵심 메시지

• 이미지 생성모델은 거의 예외 없이 노이즈에서 시작해 이미지를 점차 정제하는 방식으로 작동한다.
• 노이즈(가우시안 분포)에서 시작하는 이유는 표본을 뽑기 쉽고, 무작위성으로 다양한 결과를 만들며, 수학적으로 다루기 좋기 때문이다.
• DDPM은 이미지를 조금씩 망가뜨리는 순방향 과정과, 그 과정을 되돌리도록 학습하는 역방향 과정으로 구성된다.
• 복잡한 최대우도 문제는 ELBO(증거 하한)로 바꾸고 KL 발산을 정리하면, 결국 '더해진 노이즈를 예측하는' 단순한 L2 회귀 손실로 귀결된다.
• DDPM은 보통 1000단계를 거쳐 느리기 때문에, DDIM은 과정을 결정론적으로 만들어 단계를 건너뛰며 10~50배 빠르게 생성한다.

쉽게 이해하기

스탠퍼드 CME296 '확산모델과 대형 비전모델' 첫 강의는 이미지 생성모델이 어떻게 작동하고 무엇이 그것을 잘 작동하게 하는지를 목표로 삼는다. 강의는 생성 패러다임(확산·스코어 매칭·플로우 매칭)부터 조건부 생성, 모델 구조(과거의 U-Net에서 오늘날의 디퓨전 트랜스포머로의 수렴), 학습과 증류, 평가(FID 등)까지 다룰 예정이며, 선형대수·확률론·미분방정식·기초 머신러닝을 전제로 한다.

1강의 핵심 질문은 '왜 노이즈에서 시작하는가'다. 거의 모든 방법이 노이즈에서 출발해 이미지를 정제한다. 이유는 세 가지다. 노이즈는 뽑기 쉽고, 시작점의 무작위성이 매번 다른 이미지를 만들어 다양성을 주며, 노이즈가 곧 가우시안 분포이기에 수학이 크게 단순해진다. 강의는 조각가가 돌덩이에서 형상을 깎아내는 미켈란젤로의 비유로 이 직관을 설명한다. 처음 세 강의는 입력 조건이 없는 '무조건 생성'만 다룬다.

이미지는 픽셀마다 빨강·초록·파랑 값을 가지므로, 픽셀 수 곱하기 3 차원의 벡터로 표현된다. DDPM(첫 성공적 확산 논문)은 두 과정을 둔다. 순방향 과정 Q는 학습 이미지에 노이즈를 조금씩 더해 망가뜨리는, 우리가 직접 정의하는 과정이다. 이때 얼마나 노이즈를 더할지 정하는 계수들이 '노이즈 스케줄'이며, 깨끗한 이미지 근처에서는 작게, 노이즈에 가까울수록 크게 더한다. 이 방식은 매 단계 분산이 보존되는 '분산 보존(variance preserving)' 형태다.

가우시안의 좋은 성질 덕분에 중간 단계를 모두 거치지 않고도 깨끗한 이미지 x0에서 임의의 단계 xt로 한 번에 갈 수 있다. 알파들의 곱(알파 바)을 쓰면 되며, 독립인 가우시안들의 분산이 더해진다는 사실이 이 지름길을 뒷받침한다. 우리가 배우고 싶은 것은 반대 방향, 즉 노이즈가 많은 이미지에서 덜한 이미지로 되돌리는 역방향 과정 P_theta다.

학습 목표는 모델이 학습 데이터를 볼 확률(log P_theta(x0))을 최대화하는 파라미터를 찾는 것이다. 그러나 모든 경로에 대한 적분(주변화)은 계산 불가능하다. 그래서 젠슨 부등식을 이용해 계산 가능한 하한인 ELBO(증거 하한)로 바꾸고, 우리가 아는 순방향 과정 Q를 식에 끌어들인다. ELBO를 전개하면 두 가우시안 사이의 KL 발산이 나오는데, q(x_{t-1} | x_t, x0)는 베이즈 규칙과 Q의 마르코프 성질로 다룰 수 있고 P_theta도 가우시안으로 가정한다.

가우시안의 확률밀도함수를 알기에 KL 발산을 대입하면 많은 항이 소거되고, 결국 손실은 '더해진 실제 노이즈'와 '모델이 예측한 노이즈'의 L2 거리로 단순해진다. 모델에는 노이즈 이미지와 함께 그것이 얼마나 노이즈가 많은지를 알려주는 단계 t도 입력된다. 학습은 깨끗한 이미지·노이즈·단계를 뽑아 노이즈를 예측하고 역전파하며, 추론은 노이즈에서 시작해 T에서 0까지 한 단계씩 되돌린다.

다만 T가 보통 1000 정도로 커서, VAE·GAN이 한 번의 순전파로 100밀리초에 만들던 이미지가 수 분씩 걸린다. 후반부에서 셰르빈은 이 부담을 줄이는 DDIM을 소개한다. 생성 과정에서 단계 사이의 무작위성을 없애 결정론적으로 만들고(sigma=0), DDPM과 같은 주변 분포를 만족하는 함수족 Q_sigma를 찾는 것이 핵심이다. 그러면 무작위성은 처음 노이즈를 뽑을 때만 개입한다. 각 단계에서 x0를 추정해 대입하는 방식으로 단계를 건너뛰며, T 대신 S 단계로 줄여 보통 10~50배 빨라진다. 다만 너무 크게 건너뛰면 품질(FID)이 떨어지는 절충이 있으며, 약 20배까지는 원본에 가깝다.

주요 인사이트

• 노이즈에서 시작하는 선택은 임의적이지 않다. 표본 추출의 용이함, 다양성을 위한 무작위성, 가우시안의 수학적 편의라는 세 가지 실질적 이유가 모두 맞물려 있다.
• 확산모델의 어려워 보이는 유도는 결국 '노이즈를 예측하라'는 매우 단순한 L2 손실로 압축된다. 복잡한 확률 이론이 실전에서는 다루기 쉬운 회귀 문제로 바뀌는 셈이다.
• 학습 시에는 깨끗한 이미지 x0를 알기 때문에 q(x_{t-1} | x_t, x0)를 정확히 계산할 수 있다. 이 '커닝'이 손실을 다룰 수 있게 만드는 열쇠다.
• DDPM의 무작위성은 매 단계에 흩어져 있지만, DDIM은 그 무작위성을 처음 노이즈 한 곳으로 몰아 결정론적 생성을 가능케 하고, 그 덕분에 단계 건너뛰기가 성립한다. 그래서 'implicit(암시적)'이라는 이름이 붙었다.

자주 묻는 질문

관련 AI 소식