확산 모델 원리 해설: 랑주뱅 샘플링으로 다시 보는 이미지 생성의 두 기둥과 잡음의 역할

핵심 메시지

• 확산 모델 설명은 대개 '잡음을 걷어내는 신경망'이라는 첫 번째 기둥만 다루지만, 실제로 작동하게 만드는 두 번째 기둥은 랑주뱅 샘플링이라는 확률적 표본 추출 절차다.
• 이미지 한 장을 만드는 일은 100만 차원 확률분포에서 표본 하나를 뽑는 일과 같으며, 이는 주사위를 굴리는 것과 원리상 동일한 과정이다.
• 어떤 분포든 로그 확률밀도의 기울기만 알면 표본을 뽑을 수 있다. 확산 모델이 예측하는 '방향'의 정체가 바로 이 기울기다.
• 매 단계 더해지는 가우시안 잡음은 결과를 망치는 요소가 아니라, 표본의 다양성을 확보하고 지역 최적점에서 빠져나오게 하는 필수 재료다.
• 잡음을 창의적 역할, 신경망을 논리적 역할로 분리한 설계 덕분에 확산 모델은 두 능력을 한 신경망에 욱여넣는 GAN보다 학습이 안정적이고 모드 붕괴에도 강하다.

쉽게 이해하기

확산 모델을 공부하려 하면 대개 같은 순서를 만난다. 가우시안 잡음에서 조금씩 잡음을 걷어내 이미지를 만든다는 설명, 그리고 잡음 제거 학습이 데이터 가능도 최대화와 같다는 것을 증명하는 긴 수식이다. 영상은 이 접근이 거꾸로라고 지적하는데, 그 증명이 말해주는 것은 '이 방법이 생성 모델로서 말이 된다'는 최소 조건뿐이고 그 조건은 다른 생성 모델도 다 충족하기 때문이다. 왜 하필 확산 모델이어야 하는지는 여전히 답이 되지 않는다.

그래서 영상은 잘 다뤄지지 않는 두 번째 기둥으로 출발점을 옮긴다. 이미지를 만드는 일이 주사위를 굴리는 일과 같다는 관점이다. 주사위 굴리기는 확률분포에서 표본을 하나 뽑는 행위이고, 1000×1000 픽셀 이미지도 각각 0~255 값을 갖는 100만 개의 숫자로 이뤄진 100만 차원 분포의 표본으로 볼 수 있다. 남는 질문은 그 분포에서 표본을 어떻게 뽑느냐다.

여기서 등장하는 것이 랑주뱅 샘플링이다. 임의의 위치에서 출발해 확률밀도가 빠르게 커지는 방향으로 조금 이동하고, 정규분포에서 뽑은 작은 잡음을 더하는 과정을 반복하면 표본이 목표 분포의 표본에 점점 가까워진다. 필요한 방향은 정확히는 확률밀도 함수에 로그를 씌운 뒤의 기울기인데, 로그를 씌우는 이유는 밀도가 낮은 곳에서 기울기 크기를 키워 봉우리까지 빠르게 도달하게 만들기 위해서다. 영상은 이 절차만으로 균등분포 표본을 만들고 그것을 잘라 공정한 주사위를 구현해 보이며, 봉우리 두 개짜리 분포에도 같은 절차가 통한다는 것을 확인한다.

이미지에 이 방법을 쓰려면 걸림돌이 하나 있다. 이미지 분포의 확률밀도 함수를 우리가 모르기 때문에 기울기를 미분으로 구할 수 없다는 점이다. 대신 우리에겐 인터넷에 쌓인 수많은 이미지, 곧 그 분포에서 이미 뽑힌 표본이 있고, 여기서 첫 번째 기둥인 딥러닝이 들어와 표본만 보고 기울기 함수를 직접 추정한다. 확산 모델이 매 단계 내놓는 '좋은 이미지 쪽으로 가는 방향'의 정체가 바로 로그 확률밀도의 기울기이며, 이것이 랑주뱅 샘플링이 요구하는 항과 정확히 같다.

잡음 항의 역할도 이 관점에서 분명해진다. 영상은 1000단계 생성 과정에서 500단계 이후 잡음 추가를 꺼보는데, 전반부에 또렷하던 붉은 판다의 윤곽이 잡음을 끄자 점점 흐릿해진다. 실제 이미지 분포의 지형은 작은 언덕이 곳곳에 있어 기울기만 따라가면 지역 최적점에 갇히고, 잡음은 확산 모델이 다듬을 원재료 자체이기 때문이다. 영상은 이를 창의적인 화가와 논리적인 화가의 2인 협업에 비유하면서, 두 능력을 한 신경망에 욱여넣어 학습이 불안정하고 모드 붕괴에 빠지기 쉬운 GAN과 대비시키고, 학습 때는 손실의 기울기를, 생성 때는 가능도의 기울기를 따라 작은 걸음을 반복한다는 점에서 경사하강법과 같은 원리의 다른 얼굴이라고 정리한다.

주요 인사이트

• 확산 모델이라는 이름 자체가 오해를 부른다. 이미지를 만드는 것은 신경망 단독이 아니라 신경망과 샘플링 절차를 합친 시스템인데, 이름은 신경망만 가리키기 때문이다.
• '잡음을 지우는 모델'이라는 통설로는 생성 도중 잡음을 계속 더하는 이유를 설명할 수 없다. 설명이 모순처럼 보인다면 대개 빠진 조각이 있다는 신호다.
• 분포의 밀도 함수를 몰라도 기울기만 알면 표본을 뽑을 수 있다는 사실이, 확산 기법이 이미지뿐 아니라 단백질 구조 예측, 로봇 제어, 음악·영상 생성까지 퍼진 이유다.
• 잡음은 비용이 들지 않는 공짜 요소라 과소평가되기 쉽지만, 다양성 확보와 지역 최적점 탈출이라는 두 가지 역할을 맡고 있어 신경망만큼 중요하다.
• 이미지 공간의 대부분은 비어 있어 그 영역의 기울기가 0에 가깝다. 이 빈 공간 문제를 다루는 것이 확산 모델의 실질적 공학 혁신 중 하나다.

자주 묻는 질문

관련 AI 소식