확산 모델 원리: 비평형 열역학과 브라운 운동으로 이해하는 생성 AI

핵심 메시지

• 확산 모델은 단순한 비유가 아니라, 잉크가 물에 퍼지고 연기가 흩어지는 비평형 열역학과 실제로 같은 수학 틀 위에 세워졌다.
• 데이터를 '확률의 지형'으로 보면, 모델은 지형 전체 지도를 외우는 대신 지금 위치에서 더 높은 확률 쪽으로 한 걸음 안내하는 나침반(스코어) 역할을 한다.
• 순방향 확산은 실제 이미지를 노이즈로 흩뜨려 학습 데이터를 만들고, 역방향 확산은 노이즈에서 구조로 되돌아가며 새 이미지를 생성한다.
• 순방향 운동은 결정론적 '드리프트' 항과 무작위 '확산' 항으로 이뤄진 확률미분방정식(SDE)이며, 브라운 운동(위너 과정)이 그 무작위성의 토대다.
• 역방향 SDE 대신 확률적으로 동등한 결정론적 ODE로 바꾸면 샘플링 단계를 수십 배 줄여 생성 속도를 크게 높일 수 있다.

쉽게 이해하기

2015년 연구자들은 머신러닝과 비평형 열역학 사이의 뜻밖의 연결을 발견했다. 잉크가 물에 번지고 열이 퍼지는 현상을 다루는 이 물리학 분야가, 오늘날 사실적인 이미지를 만들어내는 생성 AI의 토대가 됐다. 그 다리 역할을 하는 것이 바로 확산 모델이며, 영상은 이 모델이 물리적 확산과 '같은' 수학 틀을 공유한다는 점을 강조한다.

핵심 발상은 데이터를 확률로 빚어진 지형으로 보는 것이다. 사람 눈에 의미 있는 이미지는 확률이 높은 '언덕', 순수한 노이즈는 확률이 거의 0인 '골짜기'다. 우리는 이 지형의 지도를 모른다. 그래서 지형 전체를 외우는 대신, 어느 위치에 놓여도 더 높은 확률 방향으로 한 걸음 내딛게 해주는 나침반 같은 모델을 학습한다. 이때 확률 분포는 시간에 따라 변하는 p_t(x) 형태가 된다.

학습 데이터는 순방향 확산으로 만든다. 실제 이미지 주변의 입자를 조금씩 퍼뜨리면, 처음엔 실제 데이터에 몰려 있던 지형이 점차 넓게 퍼진다. 언덕을 넓혔다가 다시 날카롭게 하는 이 과정 덕분에, 텅 빈 영역에 놓인 공도 방향을 잡을 수 있다. 이 무작위 운동의 뿌리는 1827년 로버트 브라운이 관찰하고 1905년 아인슈타인이 정량화한 브라운 운동, 그리고 1923년 위너가 정식화한 위너 과정이다.

순방향 운동은 일정 속도 공식에서 출발해, 위치·시간에 따라 달라지는 속도 함수와 무작위 항을 더한 확률미분방정식(SDE)으로 일반화된다. 첫 항은 결정론적 '드리프트', 둘째 항은 무작위 '확산'이다. 대표 논문 DDPM은 원점으로 끌어당기는 드리프트와 노이즈 양을 조절하는 '노이즈 스케줄'(베타)을 선택하는데, 이 스케줄은 지형의 모양과 샘플링 난이도를 좌우해 활발히 연구되는 주제다.

학습된 모델은 특정 위치에서 실제 데이터 방향을 가리키는 로그 확률의 기울기(스코어)를 출력한다. 이미지 생성은 하나의 정답을 찾는 최적화가 아니라 확률에 비례해 다양한 결과를 뽑는 샘플링이므로, 1982년 앤더슨이 유도한 역방향 SDE를 따른다. 여기서 2021년 양 송 등은 확률적으로 동등한 결정론적 ODE를 제시했고, 이를 쓰면 수천 단계 대신 수십 단계로 약 20배 빠르게 생성할 수 있다. 스테이블 디퓨전 3 같은 최신 모델이 ODE 기반 샘플러에 크게 의존하는 이유다.

주요 인사이트

• 확산 모델의 강점은 물리학 비유가 아니라 '동일한 수학'에 있다. 시간에 의존하는 확률 분포라는 개념이 전통적 머신러닝엔 드물지만, 온도·농도가 시공간에 따라 변하는 물리학에는 흔해 그 틀을 그대로 빌려온다.
• 모델을 지형 전체를 외우는 지도 제작자가 아니라 국소적 방향만 알려주는 나침반으로 설계한 것이 일반화의 열쇠다. 뉴욕의 모든 길을 외워도 샌프란시스코에서는 쓸모없듯, 특정 경로를 암기하지 않도록 순방향 경로에서 임의의 한 점만 골라 학습한다.
• 노이즈 스케줄은 단순한 하이퍼파라미터가 아니라 지형의 형태와 공이 실제 데이터를 얼마나 쉽게 찾는지를 결정한다. 실제 데이터에 너무 가깝거나 너무 멀면 학습이 어렵고, 그 중간의 균형점이 핵심이다.
• SDE와 ODE는 확률 질량을 같은 방식으로 옮기므로, 다양성이 필요할 때는 무작위성이 있는 SDE를, 속도·제어가 중요할 때는 결정론적 ODE를 골라 쓰는 하이브리드 전략이 실무에서 자리 잡았다.
• 이 틀은 연속 공간을 가정하지만 언어는 토큰이라는 이산 단위로 이뤄져, 확산을 텍스트에 어떻게 적용할지는 아직 열린 과제로 남아 있다.

자주 묻는 질문

관련 AI 소식