확산 모델 일반화 원리: MIT 강의로 보는 암기와 창작의 경계, 저작권 소송과 귀납 편향

핵심 메시지

• 유한한 훈련 데이터에 대한 최적의 잡음 제거기는 닫힌 형태로 계산할 수 있는데, 그것을 그대로 쓰면 훈련 이미지를 되뱉을 뿐 새 그림을 만들지 못한다.
• 따라서 확산 모델의 일반화는 훈련 목적 함수를 완벽히 풀지 못했기 때문에 일어나는 현상이며, 이는 해가 무수히 많은 지도학습의 과적합 논의와 성격이 다르다.
• 한 연구는 스테이블 디퓨전 샘플의 약 1.9%가 훈련 데이터를 복제한다고 보고했고, 이 수치는 저작권 집단소송에서 쟁점이 됐다.
• 겹치지 않는 데이터로 따로 학습한 두 모델이 같은 잡음에서 거의 같은 이미지를 내놓는 실험은, 데이터가 충분히 많아지면 확산 모델이 훈련 데이터의 세부에 놀랄 만큼 둔감해진다는 것을 보여준다.
• 일반화의 원인으로는 야코비안 고유값의 희소성, 최적 해를 매끄럽게 다듬는 평활화, 합성곱 신경망의 지역성과 등변성이라는 세 갈래 설명이 제시되고 있다.

쉽게 이해하기

강의는 확산 모델이 일반화한다는 것이 무슨 뜻인지 정의하는 데서 시작한다. 느슨하게 말하면 훈련에 없던 새롭고 사실적인 샘플을 만들어내는 것이고, 형식적으로는 실제 분포에서 뽑은 표본의 평균 로그 가능도가 훈련 표본의 로그 가능도에 견줄 만큼 높은 상태다. 강사는 자주 인용되는 FID 점수가 눈으로 본 품질과 어긋나는 경우가 많다고 지적하고, 로그 가능도와 샘플 품질이 서로 대응하지 않을 수 있다는 오래된 연구도 함께 짚는다.

그렇다면 실제로 일반화가 일어나고 있을까. 한 연구는 스테이블 디퓨전 샘플의 최소 1.9%가 훈련 데이터의 내용을 복제한다고 보고했다. 완전히 같은 이미지만이 아니라 알아볼 수 있는 개념을 그대로 재현하는 경우까지 포함한 수치다. 강사는 2%면 저작권 문제를 일으키기에 충분한 양이라며, 실제로 관련 논의가 캘리포니아의 집단소송에서 원고 측 논거로 인용됐다고 소개한다. 뒤집어 보면 98%는 새로운 결과물이라는 뜻이기도 하다.

강의의 핵심은 이 다음이다. 확산 모델이 일반화한다는 사실 자체를 놀라워해야 한다는 것이다. 유한한 훈련 데이터에 대한 잡음 제거 목적 함수는 닫힌 형태의 해를 갖고 계산도 가능한데, 그 최적 해를 확산 모델에 넣으면 훈련 분포의 샘플만 나온다. 실제로 이 방식으로 만든 손글씨 숫자 샘플은 보기에 그럴듯하지만 훈련 집합에서 최근접 이웃을 찾아보면 거의 똑같다. 지도학습에서는 훈련점을 지나는 함수가 무수히 많고 참 함수도 그중 하나지만, 잡음 제거 문제는 해가 하나뿐인데 그 해가 쓸모없다는 점이 다르다. 강사의 표현을 빌리면 확산 모델의 일반화는 훈련 문제를 푸는 데 실패해야만 가능하다.

왜 실패가 유용한 방향으로 일어나는지에 대해 강의는 최근 연구 세 갈래를 소개한다. 첫째는 학회 최우수 논문으로 뽑힌 뉴욕대 연구다. ReLU를 쓰는 잡음 제거기는 조각별 선형 함수이므로 야코비안만 알면 그 지점의 동작을 전부 알 수 있는데, 훈련 목적 함수를 풀어 쓰면 데이터 항과 함께 야코비안 고유값의 L1 노름에 해당하는 정규화 항이 나온다. L1은 희소성을 부르고, 결과적으로 잡음 이미지를 소수의 기저 벡터 조합으로 복원하게 된다. 실제로 그 기저 벡터를 시각화하면 훈련 데이터를 통째로 외우는 대신 얼굴 이미지의 기하학적 특징을 담고 있다.

같은 논문의 안정성 실험은 이 설명을 뒷받침한다. CelebA를 겹치지 않는 두 묶음으로 나눠 따로 학습시키면 데이터가 한 장이나 열 장뿐일 때는 훈련 이미지를 그대로 외우지만, 각각 10만 장 규모가 되면 같은 잡음 입력에서 두 모델이 거의 같은 이미지를 내놓고 그 결과물은 훈련 집합의 어떤 이미지와도 다르다. 둘째 갈래는 매끄러움으로, 계산 가능한 최적 잡음 제거기를 평활화하면 흐름이 가장 가까운 훈련 샘플이 아니라 주변 샘플들의 무게중심으로 향해 학습 없이도 일반화하는 모델이 된다. 다만 픽셀 공간에서 두 그림을 섞으면 겹쳐 보일 뿐이라 저차원으로 보내는 오토인코더의 잠재 공간에서 적용해야 하며, 셋째 갈래인 최근 이론은 합성곱 신경망의 지역성과 등변성만 가정해 닫힌 해를 유도하고 훈련 이미지의 패치를 짜깁기하는 모형이 실제 신경망 출력을 상당히 정확하게 예측함을 보인다.

주요 인사이트

• 일반화 연구가 법정으로 이어졌다는 점이 흥미롭다. 확산 모델이 보호받는 표현을 얼마나, 어떤 조건에서 재현하는지 정량화하는 작업은 소송의 양쪽 모두에게 근거가 되고, 장기적으로는 암기하지 않는 모델 설계로 이어질 수 있다.
• 정규화가 저절로 걸린다는 관점이 인상적이다. 잡음 수준의 제곱에 비례하는 항이 야코비안 고유값의 희소성을 유도하므로, 학습 목적 함수 안에 이미 저계수 해를 선호하는 압력이 들어 있는 셈이다.
• 희소성만으로는 암기를 배제하지 못한다. 가장 큰 고유값에 해당하는 기저 벡터가 최근접 훈련 이미지가 되고 나머지가 0이어도 희소성 조건은 만족한다. 실제로 그렇게 되지 않는 이유는 아직 열린 질문이다.
• 데이터가 늘수록 모델이 훈련 집합의 세부에 둔감해진다는 결과는, 일반화를 데이터 양의 문제로 보게 만든다. 이미지는 데이터가 풍부하지만 영상이나 분자처럼 수집이 어려운 영역에서는 이 조건을 채우기 어렵다.
• 학습이 필요 없는 닫힌 형태의 확산 모델이 그럴듯한 샘플을 낸다는 사실은, 무엇이 일반화를 만드는지 알아내면 훈련과 샘플링 비용을 크게 줄일 여지가 있음을 시사한다.

자주 묻는 질문

관련 AI 소식