플로우와 디퓨전 모델 기초: MIT 강의로 보는 생성 모델의 미분방정식과 벡터장 개념

핵심 메시지

• '좋은 이미지'라는 주관적 판단을 확률 언어로 바꾸면, 생성은 데이터 분포에서 표본을 뽑는 문제가 된다.
• 플로우 모델은 신경망이 벡터장을 표현하고, 그 벡터장이 정의하는 상미분방정식을 오일러 방법으로 풀어 가우시안 잡음을 데이터로 옮긴다.
• 디퓨전 모델은 여기에 브라운 운동으로 잡음을 주입한 확률미분방정식을 쓰며, 확산계수를 0으로 두면 그대로 플로우 모델로 되돌아간다.
• 강사는 두 축 가운데 플로우 쪽이 더 근본이며, 최신 모델 상당수가 사실상 플로우 모델이라고 강조했다.
• 생성 알고리즘 자체는 짧은 반복문 몇 줄로 끝나며, 어려운 부분은 그 벡터장을 어떻게 학습시키느냐에 있다.

쉽게 이해하기

강의는 스테이블 디퓨전이나 소라 같은 생성 시스템이 이전의 AI와 무엇이 다른지에서 출발한다. 과거의 모델이 주로 분류처럼 무언가를 예측했다면, 지금의 모델은 새로운 대상을 만들어낸다. 강사는 이 계열의 알고리즘이 이미지와 영상뿐 아니라 단백질 설계에도 쓰이고 있다고 짚으며, 그 원리를 첫 원리부터 이해시키는 것이 강의의 목표라고 밝혔다.

먼저 '생성'을 수학으로 옮긴다. 이미지는 높이×너비×채널 크기의 벡터, 영상은 그 벡터가 시간만큼 쌓인 것, 분자 구조는 원자 좌표의 나열로 표현된다. '이 이미지가 얼마나 좋은가'라는 주관적 평가는 '데이터 분포에서 이 이미지가 얼마나 그럴듯한가'로 바뀌고, 데이터셋은 그 분포에서 뽑은 유한한 표본으로 간주된다. 프롬프트 같은 조건을 붙이면 조건부 분포에서 표본을 뽑는 문제가 된다.

핵심 도구는 벡터장이다. 공간의 각 지점과 시각마다 방향을 알려주는 함수가 벡터장이고, 그 방향을 따라 움직이는 궤적의 조건이 상미분방정식이며, 여러 초기 조건에 대한 해를 한꺼번에 모은 것이 플로우다. 실제로는 해를 손으로 구할 수 없으므로 오일러 방법으로 작은 시간 간격만큼 벡터장 방향으로 조금씩 이동시켜 수치적으로 시뮬레이션한다.

여기서 기계학습이 들어오는 지점은 단순하다. 벡터장을 신경망으로 두는 것이다. 초기 분포에서 가우시안 잡음을 하나 뽑고, 신경망이 알려주는 방향으로 시간 1까지 이동시킨 뒤 마지막 지점만 취하면 그것이 생성 결과다. 강사는 신경망이 표현하는 것은 흐름 자체가 아니라 벡터장이며, 흐름은 시뮬레이션을 통해 암묵적으로 얻어진다는 점을 분명히 했다.

디퓨전 모델은 이 틀에 무작위성을 더한다. 브라운 운동은 어디서도 미분할 수 없는 경로를 갖기 때문에 미분을 쓰지 않는 형태로 방정식을 다시 써야 하고, 그렇게 얻은 식에 확산계수를 곱한 잡음 항을 더하면 확률미분방정식이 된다. 표본 추출은 오일러 방법에 잡음 한 항을 더한 오일러–마루야마 방법으로, 잡음의 분산이 시간에 비례하도록 √h로 크기를 맞춰 준다.

주요 인사이트

• 생성 모델의 표본 추출 알고리즘은 놀랍도록 단순하다. 어려움은 추론이 아니라 벡터장을 학습시키는 목표 함수를 세우는 데 있고, 강의도 그 순서로 진행된다.
• 확산계수를 0으로 두면 확률미분방정식이 상미분방정식으로 환원된다는 사실은, 플로우와 디퓨전이 별개의 기법이 아니라 하나의 틀 위에 놓인다는 것을 보여준다.
• 잡음을 더 넣으면 공간을 더 넓게 탐색하지만 지나치면 수치 오차가 커진다. 확산계수 선택은 대체로 이론보다 경험적으로 정해진다는 설명이 나왔다.
• 브라운 운동을 쓰는 이유는 임의의 선택이 아니다. 시간에 대해 연속인 마르코프 과정은 대체로 이 형태의 확률미분방정식으로 표현되며, 다른 선택은 경로가 튀거나 새로울 게 없어진다.
• 학습 난도를 낮추는 실용적 조언도 담겼다. 플로우 부분을 먼저 확실히 이해한 뒤 디퓨전 부분으로 돌아오라는 것이다.

자주 묻는 질문

관련 AI 소식