디퓨전 모델이 GAN을 이긴 방법: 분류기 가이던스와 ADM 논문 리뷰 한국어 해설

핵심 메시지

• GAN은 이미지 생성에서 오래 최고 성능을 지켰지만 다양성이 떨어지고 모드 붕괴가 쉽게 일어나며 학습이 까다롭다는 약점이 있었다.
• 디퓨전 모델이 그때까지 GAN을 못 이긴 이유로 발표자는 두 가지를 든다. 아키텍처 연구가 쌓인 기간이 짧았다는 점과, GAN이 다양성을 희생해 충실도를 챙겼다는 점이다.
• 논문은 아키텍처를 대규모 실험으로 개선하고, 분류기 가이던스를 도입해 다양성을 일부 내주는 대신 충실도를 끌어올렸다.
• 분류기 가이던스는 노이즈가 낀 이미지에서 라벨을 맞히는 분류기를 따로 학습해 두고, 샘플링할 때 그 기울기만큼 역방향 과정의 평균을 옮기는 방식이다.
• 결과 모델은 BigGAN, StyleGAN2와 비슷하거나 더 적은 연산으로 대부분 과제에서 더 좋은 FID를 냈다.

쉽게 이해하기

발표는 2021년 NeurIPS에 발표된 디퓨전 모델 논문을 다룬다. 첫 슬라이드부터 비교 이미지가 나온다. 오른쪽은 실제 데이터셋 이미지, 왼쪽은 GAN이 만든 이미지, 가운데는 디퓨전 모델이 만든 이미지다. 발표자는 GAN이 만든 이미지들이 서로 비슷비슷한 반면 디퓨전 모델이 만든 이미지는 훨씬 다양하다는 점을 눈으로 확인하게 한다. 이 다양성을 유지하면서도 GAN에 견줄 만한 품질을 냈다는 것이 논문의 핵심 기여다.

왜 그동안 디퓨전이 GAN을 못 이겼을까. 발표자는 논문 저자들의 추론 두 가지를 소개한다. 첫째, GAN은 수년에 걸쳐 어떤 구조로 생성기를 짜야 학습이 잘 되는지 수많은 시도가 축적되었지만 디퓨전 모델은 역사가 짧아 그런 개선을 거치지 못했다. 둘째, GAN은 다양성을 조금 포기하는 대신 충실도를 높이는 쪽으로 맞춰져 있었다. 여기서 충실도는 정밀도에, 다양성은 재현율에 가까운 개념으로 설명된다. 생성된 분포가 실제 분포 안에 얼마나 들어가는지가 충실도, 얼마나 널리 퍼져 있는지가 다양성이다.

본론에 앞서 디퓨전 계열의 기본이 정리된다. 이미지에 노이즈를 조금씩 더해 결국 완전한 노이즈로 만드는 과정이 순방향이고, 그 반대로 노이즈를 한 단계씩 걷어 내도록 신경망을 학습시키는 것이 역방향이다. 실제 학습에서는 복잡한 손실 대신 각 단계에서 더해 준 노이즈를 신경망이 맞히도록 하는 단순한 평균제곱오차 손실이 쓰였고, 이 단순한 손실이 성능도 더 좋았으며 분산은 상수로 고정하고 노이즈 예측망은 U-Net 구조를 썼다. 같은 저자들의 후속 연구는 그 상수 분산이 최적이 아니라고 보고 분산도 파라미터화해 학습시키고 단순 손실과 변분 손실을 섞은 하이브리드 목적함수를 써서 훨씬 적은 샘플링 단계로도 학습이 가능하게 만들었다. 논문은 샘플링 단계가 50 이하일 때만 DDIM을 쓰고 그보다 많으면 이 개선판 구조를 썼다.

핵심 기여인 분류기 가이던스는 라벨을 조건으로 주는 이미지 생성을 위한 장치다. GAN은 조건부 생성을 할 때 클래스 라벨을 아주 공들여 활용해 왔는데, 디퓨전 모델도 라벨을 잘 쓰면 조건부 생성 성능을 올릴 수 있으리라는 발상이다. 방법은 이렇다. 각 시점의 노이즈 낀 이미지를 입력으로 받아 원래 라벨을 맞히는 분류기를 따로 학습시킨다. 그러면 조건부 역방향 과정이 조건 없는 역방향 과정의 가우시안 분포에서 평균만 분류기 기울기만큼 옮긴 형태로 정리된다는 것을 유도할 수 있다. 즉 샘플링할 때 분류기의 기울기를 더해 주면 조건이 걸린다. 이때 기울기에 곱하는 스케일이 또 하나의 하이퍼파라미터인데, 그 값을 1로 두면 생성이 잘 되지 않고 충분히 키워야 잘 됐다.

결과는 명확했다. 아키텍처 개선을 거친 모델과 여기에 분류기 가이던스를 얹은 최종 모델이 대부분 과제에서 가장 좋은 FID를 기록했고, StyleGAN2나 BigGAN과 비교했을 때 총 연산량이 비슷하거나 오히려 적었다. 발표자가 흥미롭게 본 것은 최근접 이웃 실험으로, 생성된 이미지와 가장 비슷한 학습 이미지를 나란히 보여 주며 생성물이 학습 이미지를 그대로 베낀 것이 아님을 확인시킨다. 한계도 함께 정리된다. 디퓨전 모델은 학습과 샘플링 모두 GAN보다 훨씬 느리고, 잠재 표현을 학습하지 않아 표현 학습이 필요한 과제에 쓰기 어려우며, 분류기 가이던스는 라벨이 붙은 데이터셋에서만 쓸 수 있어 라벨 없는 데이터로의 확장이 과제로 남는다. 발표자는 저자들이 가짜 뉴스나 선전물 생성 같은 사회적 위험까지 직접 언급한 점을 인상적이라고 짚는다.

주요 인사이트

• 생성 모델의 성능은 하나의 숫자로 요약되지 않는다. FID나 인셉션 스코어 같은 지표가 다양성을 제대로 반영하지 못한다는 지적이 논문의 출발점이었다.
• 충실도와 다양성은 정밀도와 재현율처럼 맞교환 관계다. 이 논문의 전략은 다양성이 넉넉한 쪽에서 시작해 일부를 내주고 충실도를 사 오는 것이었다.
• 성능 향상이 늘 새로운 이론에서 오지는 않는다. 이 논문의 절반은 어떤 구조 설정이 잘 되는지 대규모 실험으로 찾아낸 결과다.
• 조건을 거는 지점이 학습이 아니라 샘플링일 수도 있다. 발표 뒤 질의응답에서도 분류기 가이던스가 학습 과정이 아니라 이미지 생성 과정에서 기울기를 더해 조건을 주는 방식이라는 점이 다시 정리된다.
• 발표자는 수식 일부는 자신도 완전히 이해하지 못했다고 밝히며 참고한 자료들을 함께 공개했다. 논문 리뷰를 혼자 완결하기보다 이해한 만큼 나누고 정정을 받는 태도가 드러난다.

자주 묻는 질문

관련 AI 소식