디퓨전 모델 원리 쉽게: DDPM 순방향·역방향 과정, 잠재공간, U-Net과 노이즈 예측

핵심 메시지

• 디퓨전 모델의 뿌리는 데이터를 압축하는 오토인코더와, 샘플링 가능한 잠재공간을 학습하는 변분 오토인코더(VAE)에 있다.
• 순방향 과정은 이미지에 1000단계에 걸쳐 점점 노이즈를 더해 순수 잡음으로 만들며, 파라미터가 없는 고정된 마르코프 연쇄다.
• 역방향 과정은 잡음에서 원본을 복원하는 어려운 방향이라 신경망을 학습시켜 수행하며, 학습 목표는 각 단계에서 더해진 노이즈를 예측하는 것이다.
• 발표자는 플라톤의 동굴 비유로 관측 가능한 데이터와 관측 불가능한 잠재변수의 관계, 그리고 겹겹의 노이즈화를 설명한다.
• 역방향 과정 모델로는 위치 인코딩과 셀프 어텐션을 더한 U-Net이 쓰이지만, 노이즈 예측만 잘하면 반드시 U-Net일 필요는 없고 코드 자체는 단순하다.

쉽게 이해하기

영상은 DDPM 원 논문(2020)을 바탕으로 디퓨전 모델의 구조와 작동 원리를, 수식 유도보다 개념 이해에 초점을 맞춰 설명한다. 출발점은 오토인코더다. 인코더가 데이터를 작은 표현으로 압축하고 디코더가 복원하지만, 오토인코더는 데이터 간 의미적 관계를 담지 못해 토마토와 얼룩말의 코드가 비슷해질 수도 있다.

이를 보완한 것이 변분 오토인코더(VAE)다. VAE는 단순 압축이 아니라 다변량 분포의 파라미터로 표현되는 잠재공간을 학습해 데이터 간 관계를 담고, 무엇보다 가우시안 분포처럼 그 공간에서 표본을 뽑아 새 데이터를 생성할 수 있다. 관측 가능한 변수 X가 관측 불가능한 은닉(latent) 변수 Z에 조건화된다는 것이 잠재공간의 핵심이다.

발표자는 플라톤의 동굴 비유를 든다. 동굴에 갇힌 사람들이 벽의 그림자를 실재로 여기듯, 우리가 보는 데이터는 관측할 수 없는 실제 대상의 투영이다. 디퓨전은 여기서 더 나아가, 그림자를 보는 사람들 자체가 또 다른 동굴의 죄수인 식으로 겹겹이 이어져, 원본에서 시작해 점점 더 잡음이 낀 판본이 1000단계까지 이어진다.

노이즈를 더해가는 과정이 순방향 과정(q)으로, 파라미터가 없는 고정된 가우시안 마르코프 연쇄이며 베타 값들의 스케줄로 정해진다. 반대로 잡음에서 덜 잡음인 상태로 되돌리는 역방향 과정(p_theta)은 어렵기 때문에 신경망이 학습한다. 순방향은 고정 성질 덕분에 원본에서 임의의 시점 t의 잡음 이미지로 한 번에 갈 수 있다.

학습 목표는 VAE처럼 데이터 로그가능도의 하한(ELBO)을 최대화하는 것으로 귀결된다. 학습 루프는 데이터에서 이미지를 뽑아 무작위 시점 t와 노이즈를 정하고, 그 노이즈를 더한 이미지를 모델에 넣어 "더해진 노이즈"를 예측하게 한 뒤 실제 노이즈와 비교한다. 샘플링은 순수 잡음에서 시작해 여러 단계에 걸쳐 점진적으로 노이즈를 제거해 새 표본을 만든다.

주요 인사이트

• 역방향 과정 모델로 U-Net이 쓰이는 이유는 2015년 의료 영상 분할용으로 제안된 이 구조가 오토인코더처럼 압축 후 복원하는 형태여서 이 작업에 잘 맞기 때문이다. 다만 발표자는 노이즈 예측만 잘하면 반드시 U-Net일 필요는 없다고 강조한다.
• DDPM의 U-Net에는 두 가지 수정이 더해진다. 트랜스포머의 위치 인코딩처럼 시점 t를 벡터로 인코딩해 모델에 알려주고, 다운샘플 단계에서 셀프 어텐션을 적용한다.
• 수학이 어려워 보여도 실제 코드는 단순하다. 학습 코드는 배치에서 표본을 뽑아 시점과 노이즈를 정하고 노이즈 낀 이미지를 U-Net에 통과시켜 예측 노이즈와 실제 노이즈의 차이를 손실로 삼고, 샘플링 코드는 무작위 잡음을 여러 단계로 되풀이해 제거한다.
• 순방향(노이즈 추가)은 쉽지만 역방향(노이즈 제거)이 본질적으로 어렵다는 비대칭이 디퓨전 학습의 핵심 이유다. 발표자의 비유대로 그림에 노이즈를 더하는 일은 세 살 아이도 하지만, 잡음에서 원본을 되찾는 일은 학습이 필요하다.

자주 묻는 질문

관련 AI 소식