디퓨전 모델 원리 정리: 스코어 기반 생성모델과 노이즈 예측 학습법, 코넬대 강의 요약

핵심 메시지

• 디퓨전 모델은 깨끗한 데이터에 노이즈를 조금씩 더해 완전한 잡음까지 가는 정방향 과정을 정해두고, 그 과정을 거꾸로 되돌리는 쪽만 학습한다.
• 정방향 과정은 사람이 손으로 설계한 고정된 과정이라, 디퓨전 모델은 인코더가 고정된 변분 오토인코더로 볼 수 있다.
• 학습 목표를 정리하면 각 단계에서 '무슨 노이즈가 더해졌는지'를 맞히는 문제로 바뀌고, 손실은 실제 노이즈와 예측 노이즈의 차이로 단순해진다.
• 노이즈를 맞히는 일은 잡음이 섞인 분포의 스코어 함수를 배우는 일과 사실상 같아서, 디퓨전 모델과 스코어 기반 생성모델은 같은 대상을 다른 관점에서 본 것이다.
• 장점은 안정적인 학습으로 얻는 높은 품질과 조건부 생성, 밀도 추정 성능이고, 약점은 느린 샘플링과 이산 데이터로의 확장이다.

쉽게 이해하기

강의는 지금까지 배운 생성모델 계열을 되짚는 것으로 시작한다. 자기회귀 모델, 잠재변수 모델, 적대적 생성망, 에너지 기반 모델은 저마다 표현력과 학습 난이도 사이에서 다른 거래를 한다. 흐름 기반 모델은 야코비안 계산 때문에 신경망 구조에 제약이 크고, 적대적 생성망은 구조는 자유롭지만 목적함수가 불안정하며, 에너지 기반 모델은 가능도 최적화에 마르코프 연쇄 몬테카를로가 필요해 느리다.

그 대안으로 등장한 것이 스코어 기반 생성모델이다. 스코어 함수는 로그 확률을 입력으로 미분한 값으로, 확률이 높은 쪽을 가리키는 벡터장이다. 이 값을 배우는 모델은 입력과 출력의 차원만 같으면 되고 가역성 같은 제약이 없어 유넷이나 어텐션을 자유롭게 쓸 수 있다. 학습이 끝나면 화살표를 따라 올라가는 랑주뱅 동역학으로 표본을 뽑는다.

문제는 데이터가 거의 없는 영역에서는 스코어를 제대로 추정할 수 없다는 점이다. 그래서 실제로는 원본 분포 대신 여러 세기의 가우시안 노이즈를 씌운 분포들의 스코어를 배우고, 노이즈가 가장 큰 단계에서 시작해 점점 노이즈를 줄여가며 표본을 옮겨간다. 큰 노이즈 단계의 결과 표본이 다음 단계에서 확률이 충분한 영역에 놓이기 때문에 이 이어달리기가 성립한다.

디퓨전은 이 과정을 다르게 서술하는 방식이다. 정방향 과정은 깨끗한 데이터에서 출발해 매 단계 직전 이미지를 중심으로 하는 가우시안을 샘플링하는 마르코프 연쇄이고, 스케줄 값이 1에서 0으로 내려가면서 마지막에는 순수한 백색 잡음이 된다. 식을 재귀적으로 풀면 임의의 단계 이미지가 원본을 축소한 값에 가우시안 노이즈를 더한 형태로 정리되므로, 중간 단계 분포 역시 가우시안이다. 결국 노이즈를 단계적으로 키우는 방식은 앞서 본 담금질 방식과 같은 일을 한다.

역방향 과정은 학습의 대상이다. 잡음에서 시작해 조금씩 덜 잡음인 상태로 가는 마르코프 연쇄를 또 하나 두고, 각 단계를 가우시안으로 두어 정방향 과정의 역을 흉내 내게 한다. 학습 목표는 변분 추론에서 쓰던 증거 하한이며, 이를 풀어쓰면 사전 항, 마지막 복원 항, 그리고 단계별 쿨백-라이블러 발산 항들의 합으로 나뉜다. 각 발산 항이 곧 '이 단계의 역방향이 실제 역방향과 같아지도록' 강제하는 역할을 한다.

핵심 기술은 매개변수화를 살짝 바꾸는 데 있다. 역방향 가우시안의 평균을 직접 신경망으로 내놓는 대신, 그 평균 공식 안에 들어 있는 노이즈 항을 예측하도록 바꾼다. 그러면 두 가우시안 사이의 발산이 실제 노이즈와 예측 노이즈의 차이에 대한 제곱 오차로 정리된다. 학습 절차도 간단해진다. 데이터를 하나 뽑고, 수많은 시점 중 하나를 무작위로 골라 몬테카를로 근사를 하고, 공식으로 그 시점의 잡음 이미지를 만든 뒤, 거기에 들어간 노이즈를 맞히면 된다.

강의는 이 결과가 잡음 제거 스코어 매칭과 같은 곳에 도달한다는 점을 보여준다. 가우시안 노이즈를 쓰면 조건부 스코어가 닫힌 형태로 나오는데, 그 값이 바로 더해진 노이즈를 표준편차로 나눈 것이다. 즉 노이즈를 맞히도록 학습하는 일이 스코어를 배우는 일이다. 샘플링에서도 마찬가지로, 학습된 연쇄를 따라 순서대로 표본을 뽑는 조상 샘플링이 담금질 랑주뱅 동역학과 사실상 같은 절차가 된다.

주요 인사이트

• 한꺼번에 완성하지 않고 조금씩 다듬는 반복 정제가 디퓨전 계열의 힘이다. 적대적 생성망이 한 번에 결과를 내놓는 것과 달리, 세부를 단계적으로 덧붙이기 때문에 복잡한 이미지에서 품질이 크게 앞선다.
• 변분 오토인코더와의 차이는 무엇을 배우느냐에 있다. 오토인코더는 인코더와 디코더를 모두 학습하지만, 디퓨전 모델은 인코더에 해당하는 잡음 과정을 사람이 설계해 고정하고 디코더만 배운다.
• 디퓨전 모델은 2015년에 제안됐다가 2020년 잡음 제거 디퓨전 논문으로 다시 주목받았다. 강의에서 제시된 얼굴과 CIFAR-10 표본은 적대적 생성망에 필적하면서 학습은 훨씬 안정적이다.
• 텍스트-이미지 생성기들이 디퓨전을 디코더로 쓰지만, 강의자는 자기회귀 모델로 만든 시스템도 잘 작동한다며 디퓨전이 필수 재료는 아니라고 선을 긋는다.
• 가능도의 하한을 최적화하는 구조 덕분에 밀도 추정도 잘한다. 2021년 변분 디퓨전 모델은 스케줄을 학습하고 시점 수를 크게 늘리는 개선으로, 2016년 이후 자기회귀 모델이 지켜온 최고 기록을 넘어섰다.
• 노이즈 단계들은 잠재변수이지만 사람이 해석하기 어렵다. 여기에 저차원 잠재변수를 따로 붙이면 이미지 사이를 잇거나 특정 속성만 바꾸는 조작이 가능해진다.

자주 묻는 질문

관련 AI 소식