플로 매칭 vs 확산 모델: 이미지 생성 AI의 세대교체 원리 정리

핵심 메시지

• 확산 모델은 이미지에 더해진 잡음을 예측해 되돌리는 방식으로, 생성 시 수백~수천 번의 작은 단계를 거친다.
• 플로 매칭은 확산의 무작위성을 없애 결정론적 흐름(ODE)으로 단순화하고, 신경망이 '속도장'을 학습한다.
• 플로 매칭은 노이즈와 실제 이미지를 선형 보간해 학습하며, 정답 속도는 두 점의 차이로 간단히 구한다.
• 생성 시 플로 매칭은 5~15회의 순전파만으로 충분해 확산 모델보다 훨씬 빠르다.
• 두 방식은 수학적으로 동전의 양면이며, 플로 매칭은 확산의 강력한 학습 목표는 유지하되 무작위 행보를 지름길로 대체한다.

쉽게 이해하기

몇 년 전만 해도 Stable Diffusion, Imagen 같은 확산 모델이 이미지 생성의 최고 수준이었지만, 최근에는 Flux나 Stable Diffusion 3처럼 플로 매칭(flow matching)을 쓰는 모델이 점차 주도권을 가져가고 있다. 이 글은 두 방식이 학습과 생성에서 정확히 어디서 갈라지는지 나란히 짚는다.

확산 모델의 핵심은 잡음을 되돌리는 법을 배우는 것이다. 학습에서는 실제 이미지 X1을 골라 0과 1 사이의 시간 단계 T를 무작위로 뽑고(1은 깨끗한 이미지, 0은 순수 잡음), 정해진 스케줄에 따라 가우시안 잡음을 더해 잡음 섞인 이미지 XT를 만든다. 그런 다음 신경망(U-Net 또는 트랜스포머)이 더해진 잡음을 예측하도록 하고, 예측 잡음과 실제 잡음 사이의 L2 손실로 학습한다.

생성 단계에서는 순수 잡음에서 시작해 모델이 예측한 잡음을 조금씩 빼며 점점 깨끗한 이미지로 다가간다. 한 번에 모든 잡음을 빼지 않는 이유는, 모델이 각 잡음 수준에서 '조금 움직일 방향'만 학습했기 때문이다. 그래서 잡음 스케줄 전체에 걸쳐 수백~수천 번의 작은 단계를 밟아야 사실적인 이미지에 도달한다.

플로 매칭은 이 과정을 확률미분방정식(SDE)의 무작위 항을 제거해 결정론적인 상미분방정식(ODE)으로 단순화한다. 신경망은 잡음 대신 '속도장(velocity field) V'을 학습한다. 속도는 시간에 따른 위치 변화이므로, 시작점 X0에 속도장을 시간에 대해 적분하면 최종 이미지 X1을 얻는다.

학습에서는 실제 이미지 X1, 시간 T, 잡음 X0를 뽑아 둘을 선형 보간해 XT를 만들고, 정답 속도는 X1에서 X0를 뺀 값으로 구한다. 신경망은 이 속도를 예측하도록 평균제곱오차(MSE) 손실로 학습한다. 생성 시에는 잡음에서 출발해 속도장을 적분하는데, Euler나 Runge-Kutta 같은 수치 해법이 상황에 맞춰 단계 크기를 조절한다.

주요 인사이트

• 확산 모델은 무작위 잡음을 조금씩 되돌리는 확률적 과정이라 수백 단계가 필요하지만, 플로 매칭은 잡음 분포에서 데이터 분포로 이어지는 매끄러운 결정론적 경로를 따라간다.
• 속도장이 연속적이고 결정론적이기 때문에 효율적인 ODE 해법으로 경로를 추적할 수 있고, 확산의 수백 단계 대신 수십 번, 실제로는 5~15회의 순전파로 고품질 이미지를 만들 수 있다. 이것이 플로 매칭이 훨씬 빠른 이유다.
• 이론상 속도가 일정하더라도 실제 모델은 경로를 근사만 하므로, 해법은 여러 시간 지점에서 모델을 조회하며 곡선을 안전하게 적분한다. 그래서 한 번이 아니라 여러 단계가 필요하다.
• 확산 모델은 잡음 예측 손실이 단순하고 안정적이라 수년간 다듬어진 반면, 플로 매칭은 속도장이 부정확하면 학습이 불안정해질 수 있다. 다만 rectified flow 같은 방법이 이런 문제를 상당 부분 해결했다.
• 결국 두 방식은 수학적으로 거의 동전의 양면이며, 플로 매칭은 확산의 강력한 학습 목표를 살리면서 무작위 행보를 안내된 지름길로 바꾼 셈이다.

자주 묻는 질문

관련 AI 소식