확산 모델 쉽게 이해하기: 순방향 노이즈 주입과 역방향 생성 과정의 원리

핵심 메시지

• 확산 모델은 데이터에 노이즈를 점진적으로 주입해 망가뜨린 뒤, 그 과정을 되돌리는 법을 학습해 표본을 생성하는 확률적 생성 모델이다.
• 진짜 생성기는 너무 복잡해 복제할 수 없으므로, 대신 결과 데이터의 확률 분포를 신경망으로 모델링한다.
• 이미지는 매우 고차원 신호라 노이즈에서 한 번에 만들기 어렵기 때문에, 여러 단계로 나눠 생성한다.
• 순방향 과정은 대개 고정된 방식으로 노이즈를 더하고, 역방향 과정은 신경망이 노이즈를 조금씩 제거해 실제 같은 이미지를 만든다.
• DDPM, 점수 기반 생성 모델, 확률미분방정식(SDE) 등 여러 정식화가 존재한다.

쉽게 이해하기

확산 모델은 '확률적 생성 모델'의 한 종류다. 예컨대 진짜 개 사진들은 어딘가의 복잡한 생성기에서 나온 것인데, 그 생성기는 개의 진화 과정이나 사진가의 변덕 같은 매우 복잡한 요인에 의존한다. 우리는 그 생성기를 그대로 복제할 수 없다. 대신 생성기가 내놓은 결과 이미지들을 모아 그 데이터의 확률 분포를 학습하는데, 이렇게 데이터를 모델링한 것이 생성 모델이며 보통 신경망 형태를 띤다.

문제는 이미지가 매우 고차원의 구조화된 신호라는 점이다. 생성 모델은 보통 가우시안 같은 단순한 분포에서 노이즈를 뽑아 입력으로 넣고 신호를 만든다. 그런데 단순한 노이즈에서 고차원 이미지를 단번에 만들어내는 것은 실제로 매우 어렵다. 확산 모델은 이 어려움을 여러 단계로 쪼개어 해결한다.

확산 모델은 순방향 노이즈 과정을 정의한다. 원본 이미지에 가중합 형태로 노이즈를 조금씩 더해 결국 순수한 노이즈가 되게 한다. 그런 다음 역방향 생성 과정에서 신경망이 이 노이즈를 조금씩 줄여 사실적인 이미지 신호를 되살린다. 이는 물이나 화학에서 색소를 물에 떨어뜨리면 평형에 이를 때까지 퍼지는 확산 현상과 비슷하다는 데서 이름을 따왔다.

지난 10여 년간 여러 정식화가 등장했다. 대표적으로 잡음 제거 확산 확률 모델(DDPM), 점수 기반 생성 모델, 그리고 확률미분방정식(SDE) 기반 방법이 있다. 이 영상은 이들의 세부로 들어가기 전, 확산 모델의 '무엇을·왜·어떻게'를 높은 수준에서 잡아주는 입문에 해당한다.

주요 인사이트

• 핵심은 복잡한 생성기를 흉내 내는 대신, 그 결과 데이터의 확률 분포를 배우는 것이다. 이렇게 하면 훨씬 덜 복잡한 신경망으로도 비슷한 이미지를 만들 수 있다.
• 한 번에 생성하기 어려운 고차원 신호를 여러 단계로 나누는 것이 확산 모델의 실용적 이점이다.
• 순방향(노이즈 주입) 과정은 보통 고정된 방식으로 정의되고, 학습되는 것은 노이즈를 걷어내는 역방향 과정이다.
• 물리·화학의 확산 현상, 즉 색소가 물에 고르게 퍼지는 과정에서 직관과 이름을 빌려온 점이 이 모델의 이해를 돕는다.

자주 묻는 질문

관련 AI 소식