플로우 매칭·확산 모델 학습 목표 만들기 — MIT 6.S184 강의로 보는 확률 경로와 벡터장, 스코어 함수

핵심 메시지

• 회귀나 분류와 달리 생성 모델에는 주어진 정답 라벨이 없기 때문에, 평균제곱오차로 최소화할 ‘학습 목표’ 자체를 먼저 만들어야 한다.
• 강의의 뼈대는 여섯 개 대상이다. 확률 경로·벡터장·스코어 함수를 각각 조건부(데이터 한 점 기준)와 주변(데이터 분포 전체 기준)으로 나눈 것이다.
• 핵심 전략은 ‘한 데이터 점에 대해 먼저 풀고, 그다음 데이터 분포 전체로 주변화한다’는 것이며 강의는 이를 주변화 트릭이라 부른다.
• 가우시안 경로에서는 두 개의 노이즈 스케줄러만 정하면 벡터장이 데이터 점과 현재 위치의 가중 평균이라는 아주 단순한 식으로 정리된다.
• 스코어 함수는 ODE를 SDE로 확장할 때 필요한 보정항이며, 노이즈를 얼마나 넣든 같은 경로를 따라가게 만든다.

쉽게 이해하기

강의는 앞선 회차의 복습으로 시작한다. 플로우 모델은 보통 가우시안인 초기 분포에서 출발해 신경망이 정의한 벡터장을 따라 상미분방정식을 시간 0에서 1까지 적분하고, 끝점을 결과로 내놓는다. 확산 모델은 같은 구조에 확산 계수만큼의 노이즈를 섞어 확률미분방정식을 푸는 형태다. 학습되지 않은 상태에서는 어느 쪽이든 의미 없는 출력만 내놓기 때문에, 남은 질문은 이 벡터장을 어떻게 훈련하느냐 하나로 좁혀진다.

문제는 훈련의 기준이 되는 정답이 주어지지 않는다는 데 있다. 회귀나 분류에서는 목표값이 데이터와 함께 오지만, 생성 모델에서는 벡터장이 무엇을 향해야 하는지 아무도 알려주지 않는다. 그래서 이 회차는 ‘목표를 유도하는 회차’로 설계되고, 실제 손실을 최소화하는 알고리즘은 다음 회차로 미뤄진다. 강사는 이번이 과정에서 수학적으로 가장 어려운 시간이며 모든 유도를 따라오지 못해도 여섯 개 식만 기억하면 된다고 미리 안내한다.

첫 번째 재료는 확률 경로다. 데이터 한 점을 고정하고, 시간 0에서는 초기 분포였다가 시간 1에서는 그 한 점으로 수렴하는 분포들의 연속적인 열을 만든다. 가우시안 예시에서는 평균에 곱해지는 계수가 0에서 1로 커지고 표준편차에 해당하는 계수가 1에서 0으로 줄어들도록 두 개의 스케줄러를 잡으면 된다. 여기서 데이터 점을 무작위로 뽑도록 바꾸면, 즉 주변화하면 노이즈에서 실제 데이터 분포로 이어지는 경로가 얻어진다.

두 번째 재료는 벡터장이다. 조건부 벡터장은 그 상미분방정식을 따라가면 조건부 확률 경로를 그대로 따라가도록 정의한 대상이고, 가우시안 경우에는 스케줄러의 시간 미분을 계수로 쓴 데이터 점과 현재 위치의 가중 합이라는 간단한 식이 된다. 강의의 정리인 주변화 트릭은, 이 조건부 벡터장을 사후 확률 비율로 가중해 적분하면 주변 확률 경로를 따라가는 주변 벡터장이 나온다는 내용이다. 증명은 선택 사항으로 다뤄지지만, 어떤 지점의 확률 질량 변화율이 유입과 유출의 차이와 같다는 연속 방정식을 조건부 상황에 적용한 뒤 정리해 나가는 방식이며 사람들이 이 공식을 처음부터 적어 둔 것이 아니라 연속 방정식을 풀다가 도달했다는 점도 함께 설명된다. 결과적으로 시간 1에서 데이터 분포에 도달하는 벡터장의 공식을 손에 넣게 된다.

마지막 재료는 스코어 함수, 즉 확률 밀도의 로그를 x로 미분한 값이다. 가우시안 경로에서는 이 역시 닫힌 형태로 정리되고, 조건부 스코어와 주변 스코어는 벡터장과 똑같은 사후 확률 비율로 연결된다. 이를 이용하면 임의의 확산 계수에 대해 기존 ODE에 노이즈와 보정항을 더해 SDE로 확장해도 같은 확률 경로를 유지할 수 있다. 강사는 노이즈를 아무리 넣어도 성질이 유지된다는 점이 흥미롭다면서도, 현재 모델의 절반가량은 순수 플로우만으로 충분히 동작하며 최적 노이즈 수준은 대체로 경험적으로 정한다고 덧붙인다.

주요 인사이트

• ‘한 데이터 점에 대해 푼 뒤 분포 전체로 주변화한다’는 전략은 처음 보면 무의미해 보이지만, 다루기 쉬운 조건부 문제에서 다루기 어려운 주변 문제의 공식을 끌어내는 장치다.
• 노이즈에서 데이터로 가는 경로를 하나로 못 박아 두는 선택이 오히려 확장 가능한 학습을 가능하게 했다는 설명은, 중간 경로를 지정하지 않던 초기 뉴럴 ODE 계열과의 결정적 차이를 짚는다.
• 주변 벡터장의 공식은 실제 구현에서 한 번도 계산하지 않는다. 학습 알고리즘을 유도하기 위한 중간 대상일 뿐이라는 점이 반복해서 강조된다.
• 연속 방정식은 확률 질량의 유입과 유출을 회계하듯 따지는 관계식으로, 물리학의 발산 개념을 생성 모델의 정당성 증명에 그대로 옮겨 온 사례다.
• 스코어 함수는 ODE를 SDE로 바꿀 때 붙는 보정항이라는 위치에 놓인다. 확산 모델과 플로우 모델이 별개의 계열이 아니라 하나의 틀에서 파생된다는 관점을 준다.

자주 묻는 질문

관련 AI 소식