확산 모델 원리 완전 정리: 노이즈를 더하고 되돌려 이미지를 생성하는 DDPM의 작동 방식

핵심 메시지

• 확산 모델은 이미지에 정규분포 노이즈를 조금씩 더해 완전한 잡음으로 만든 뒤, 신경망이 그 과정을 거꾸로 되돌려 새 이미지를 생성한다.
• 핵심 발상은 신경망이 이미지 자체나 평균이 아니라 '이미지에 낀 노이즈'를 직접 예측하도록 학습시키는 것이다.
• 노이즈를 한 단계씩 제거하는 이유는, 한 번에 잡음에서 이미지로 가는 것이 다루기 어렵고 결과도 나쁘기 때문이다.
• 선형 스케줄보다 코사인 스케줄이 정보를 더 천천히 파괴해 성능이 좋았고, U-Net 구조와 시간 임베딩이 핵심 역할을 한다.
• 복잡한 수학적 유도를 거치면 최종 목표는 실제 노이즈와 예측 노이즈 사이의 단순한 평균제곱오차로 정리된다.

쉽게 이해하기

확산 모델은 이미지 생성 분야에서 최근 크게 주목받은 생성 모델로, 텍스트-투-이미지에서 DALL·E 2나 디스코 디퓨전 같은 놀라운 결과를 만들어낸다. 이 영상은 통계물리학에서 유래해 2015년 머신러닝에 도입된 최초 논문부터, 품질을 크게 끌어올린 2020년 DDPM 논문, 그리고 성능과 속도를 개선한 2021년 OpenAI의 두 논문까지 핵심 흐름을 짚는다.

기본 아이디어는 두 과정으로 나뉜다. 정방향 과정은 원본 이미지에 정규분포에서 뽑은 노이즈를 반복적으로 더해, 충분히 여러 단계를 거치면 순수한 잡음으로 만든다. 역방향 과정은 신경망이 그 잡음을 한 단계씩 걷어내 다시 선명한 이미지로 복원하는 법을 배우는 것이다. 학습이 잘 되면 완전한 무작위 노이즈에서 시작해도 학습 데이터에 있을 법한 새 이미지를 만들 수 있다.

신경망이 무엇을 예측해야 하는지에 대해 2020년 논문은 세 가지 선택지를 제시했다. 각 단계 노이즈의 평균을 예측하거나, 원본 이미지를 직접 예측하거나, 이미지에 낀 노이즈를 직접 예측하는 것이다. 원본 직접 예측은 잘 안 되고, 첫째와 셋째는 사실상 같은 것을 다르게 표현한 것이어서, 저자들은 노이즈를 직접 예측하는 방식을 택했다. 분산은 고정하고 평균(사실상 노이즈)만 예측한다.

구조는 가운데가 좁아지는 U-Net을 쓴다. 다운샘플과 ResNet 블록으로 이미지를 작은 해상도로 압축했다가 업샘플 블록으로 다시 키우고, 특정 해상도에서는 어텐션 블록과 스킵 연결을 둔다. 지금이 몇 번째 단계인지는 트랜스포머의 사인 임베딩으로 각 블록에 알려주는데, 단계마다 더해진 노이즈 양이 다르므로 이 정보가 성능에 크게 기여한다.

수학적으로는 음의 로그 가능도에서 출발해 변분 하한과 KL 발산을 이용해 계산 가능한 형태로 바꾼다. 알파의 누적곱을 도입하면 여러 단계의 노이즈를 한 번에 적용할 수 있고, 재매개변수화 트릭과 베이즈 규칙, x0에 대한 추가 조건화를 거치며 여러 항이 상쇄된다. 결국 목표는 시점 t의 실제 노이즈와 신경망이 예측한 노이즈 사이의 평균제곱오차라는 간단한 식으로 정리된다.

주요 인사이트

• 노이즈 스케줄을 잘못 짜면 마지막 몇 단계가 이미 완전한 잡음처럼 보여 낭비가 되고 정보도 너무 빨리 파괴된다. OpenAI 연구진은 코사인 스케줄로 정보를 더 천천히 없애 이 두 문제를 함께 해결했다.
• 긴 수학 유도의 결정적 전환점은 정방향 과정에 베이즈 규칙을 적용하고 원본 x0로 추가 조건화한 부분이다. 이 덕분에 정방향과 역방향 과정을 같은 형태로 맞출 수 있었고 많은 항이 상쇄됐다.
• 저자들은 손실 앞의 스케일링 항을 무시했을 때 오히려 샘플 품질이 좋아지고 구현도 쉬워진다는 것을 발견했다. 이론적 엄밀함보다 '실제로 더 잘 되는' 단순화를 택한 셈이다.
• ImageNet 256 기준 FID 점수에서 OpenAI의 확산 모델(ADM)은 4.59, 업샘플링을 더하면 3.94까지 도달했다. 아직 최고 성능은 GAN이 근소하게 앞서지만, 확산 모델 연구가 이제 막 시작된 점을 감안하면 곧 앞지를 가능성이 크다.

자주 묻는 질문

관련 AI 소식