민플로우(MeanFlow) 원스텝 생성 모델 원리: 플로우 매칭 반복 샘플링을 없앤 평균 속도

핵심 메시지

• 플로우 매칭은 사전 분포를 데이터 분포로 옮기는 시간에 따른 속도장을 신경망으로 학습하는 방법이다.
• 속도장을 직접 알 수는 없지만, 노이즈와 데이터 샘플을 짝지어 직선 경로의 조건부 속도를 학습시키면 평균적으로 원래 속도장에 수렴한다.
• 경로가 휘어 있으면 미분방정식을 잘게 쪼개 풀어야 하므로 여러 번의 신경망 호출이 필요해진다.
• 민플로우는 특정 시점의 순간 속도 대신 두 시점 사이의 평균 속도를 예측하도록 바꿔, 0에서 1까지의 구간을 한 번에 건너뛴다.
• 평균 속도의 정답 값은 미적분의 기본정리와 곱의 미분법으로 유도되며, 야코비안·벡터 곱으로 효율적으로 계산된다.

쉽게 이해하기

디퓨전과 플로우 기반 모델은 이미지·영상·텍스트·단백질 구조 생성의 핵심 기술이 됐다. 이들의 공통점은 하나의 분포를 다른 분포로 바꾸는 능력이며, 플로우 매칭은 그 변환을 '시간에 따라 변하는 속도장'으로 표현한다. 공간의 어느 지점, 어느 시점에서든 어느 방향으로 얼마나 움직여야 하는지를 신경망이 예측하도록 학습시키는 것이다.

문제는 그 속도장을 우리가 모른다는 데 있다. 알고 있다면 애초에 신경망이 필요 없다. 해법은 조건부 속도장이다. 사전 분포에서 노이즈 하나, 데이터 분포에서 샘플 하나를 뽑으면 둘을 잇는 경로는 그냥 직선이고, 그 직선 위 모든 점의 속도는 데이터에서 노이즈를 뺀 값 하나로 정해진다. 이런 짝을 무작위로 계속 뽑아 학습하면 개별 경로들의 기댓값이 원래의 주변 속도장과 일치한다는 것이 조건부 플로우 매칭의 근거다.

학습이 끝난 모델로 노이즈를 데이터로 옮기려면 예측된 속도를 따라가면 된다. 경로가 완전한 직선이라면 한 번만 호출해도 도착하지만, 실제 속도장은 휘어 있다. 이 경우 위치 변화는 미분방정식으로 기술되고, 해를 구하려면 속도를 시간에 대해 적분해야 한다. 실무에서는 오일러 방법처럼 잘게 쪼개 근사하는데, 보폭을 키우면 품질이 무너지고 RK2·RK4 같은 고차 해법도 정확도와 계산량의 맞바꿈에서 자유롭지 않다. 반복 샘플링이 필요한 이유가 여기에 있다.

민플로우의 발상은 예측 대상을 바꾸는 것이다. 특정 시점의 순간 속도 대신 두 시점 사이의 평균 속도, 즉 두 지점의 위치 차이를 시간 간격으로 나눈 값을 예측하게 한다. 이 모델에 노이즈를 넣고 구간을 0부터 1로 지정하면 정의상 전체 구간의 평균 속도가 바로 나오고, 신경망을 단 한 번 호출해 샘플을 얻는다.

남는 문제는 평균 속도의 학습 목표를 어떻게 만드느냐다. 정의식에서 시간 간격을 좌변으로 옮긴 뒤 양변을 시간으로 미분하면 적분의 미분은 미적분의 기본정리로, 좌변의 곱은 곱의 미분법으로 풀리며, 평균 속도와 순간 속도와 평균 속도의 시간 변화율을 잇는 항등식이 나온다. 이 변화율은 전미분이라 야코비안 행렬이 등장하지만 특정 방향의 변화만 필요하므로 행렬을 전부 만들지 않고 야코비안·벡터 곱으로 계산할 수 있고, 학습은 두 시점과 노이즈·데이터를 무작위로 뽑아 이 목표값에 평균 속도를 맞추는 회귀 손실로 이뤄진다. 결과 그래프에서 민플로우는 다른 원스텝 방식들과 비교해 학습 계산량 대비 FID 가 낮았고, 무엇보다 사전학습·증류·커리큘럼 같은 복잡한 학습 기교 없이 이 성능을 냈다는 점이 강조된다.

주요 인사이트

• 생성 속도 문제를 '더 좋은 수치해석'이 아니라 '무엇을 예측할 것인가'의 문제로 바꾼 것이 민플로우의 핵심 전환이다.
• 순간 속도는 미분량이고 평균 속도는 적분량이다. 예측 대상을 적분량으로 바꾸면 적분을 신경망이 흡수해 샘플링 루프가 사라진다.
• 조건부 플로우 매칭이 성립하는 이유는 개별 직선 경로가 정답이어서가 아니라, 같은 지점을 지나는 수많은 경로의 기댓값이 정답과 같기 때문이다.
• 야코비안 전체를 만들지 않고 벡터 곱만 계산하는 기법은 이미지처럼 차원이 수백만인 데이터에서 이 방법을 실용 가능하게 만든 실질적인 열쇠다.
• 증류나 사전학습이 필요 없다는 점은 재현성과 학습 비용 측면에서 특히 중요하다. 원스텝 모델이 대개 큰 교사 모델에 기대 왔기 때문이다.

자주 묻는 질문

관련 AI 소식