확산 모델 원리 정리: 스코어 함수와 랑주뱅 동역학으로 다시 읽는 생성 AI의 작동 방식

핵심 메시지

• 확산 모델은 확률밀도 대신 로그 확률의 기울기인 '스코어 함수'를 학습하는 모델로 볼 수 있고, 이 관점에서는 딥러닝 생성모델의 오랜 걸림돌인 정규화 상수가 아예 사라진다.
• 스코어 매칭을 그대로 쓰면 야코비안 대각합 때문에 데이터 차원 수만큼 역전파가 필요해 확장되지 않으며, 무작위 사영을 쓰는 슬라이스드 스코어 매칭과 잡음을 섞는 디노이징 스코어 매칭이 실용적 우회로다.
• 데이터가 드문 영역에서는 스코어 추정이 부정확해 샘플링이 실패하므로, 여러 잡음 수준을 두고 큰 잡음에서 작은 잡음으로 옮겨가는 방식이 품질을 끌어올린 결정적 해법이었다.
• 조건부 생성은 베이즈 정리를 스코어 공간에서 적용하면 '무조건부 스코어 + 순방향 모델의 로그 기울기' 합으로 분해되어, 모델 하나를 인페인팅·채색·의료영상 복원에 그대로 재활용할 수 있다.
• 잡음 수준을 무한히 촘촘하게 만들면 확률미분방정식이 되고, 같은 분포를 공유하는 확률흐름 ODE를 풀면 표본 생성뿐 아니라 정확한 우도 값까지 계산할 수 있다.

쉽게 이해하기

미국 MIT의 뇌·마음·기계 연구센터(CBMM)가 연 튜토리얼에서 연구자 양 송(Yang Song)이 확산 모델을 강의했다. 그는 당시 오픈AI 소속이었고 2024년 칼텍 조교수로 옮길 예정이라고 소개됐다. 이 강연이 흔한 확산 모델 설명과 다른 점은, 잡음을 넣었다 빼는 절차가 아니라 '스코어 함수'라는 수학적 대상에서 출발해 같은 기술을 다시 조립해 보인다는 데 있다.

출발점은 딥러닝 생성모델이 오랫동안 붙들려 온 문제다. 신경망 출력을 확률분포로 바꾸려면 지수를 취한 뒤 전체 적분값으로 나눠야 하는데, 고차원에서 이 정규화 상수를 계산하는 일은 사실상 불가능하다. 그래서 기존 연구는 상수를 근사하거나(에너지 기반 모델), 계산이 가능한 구조로 신경망을 제한하거나, 아예 확률밀도를 포기하고 생성 절차만 모델링하는(적대적 생성 신경망) 세 갈래로 갈라졌고, 각각 정확한 확률값을 못 주거나 표현력을 잃는 대가를 치렀다.

스코어 함수는 확률밀도에 로그를 씌운 뒤 데이터 변수로 미분한 벡터장이다. 로그를 취하는 순간 정규화 상수는 덧셈 항이 되고, 상수의 기울기는 0이므로 미분과 함께 통째로 사라진다. 남는 것은 신경망 출력의 기울기뿐이라 역전파 한 번으로 얻을 수 있다. 문제는 목적함수 쪽이었는데, 기본형 스코어 매칭이 야코비안 대각합을 요구해 데이터 차원 수에 비례하는 역전파를 부르자 강연은 무작위 방향에 사영해 1차원 문제로 바꾸는 슬라이스드 스코어 매칭과 데이터에 잡음을 더해 계산을 우회하는 디노이징 스코어 매칭을 대안으로 제시했다.

학습이 되더라도 샘플 생성은 또 다른 문제였다. 스코어를 따라 무작위 점들을 움직이는 랑주뱅 방식은 이론적으로 타당하지만 실제로는 알아볼 수 없는 이미지만 나왔고, 원인은 데이터가 거의 없는 영역의 스코어 추정이 부정확하다는 데 있었다. 해법은 가우시안 잡음을 여러 세기로 섞어 공간을 채운 뒤 잡음 세기를 입력으로 받는 조건부 모델 하나를 학습시키고, 큰 잡음에서 작은 잡음 순으로 샘플링을 이어가는 것이었다. 이 방식은 2019년 이미지 생성에서 오랫동안 최강으로 여겨지던 적대적 생성 신경망을 인셉션 점수에서 처음으로 앞질렀고, 이후 개선을 거쳐 FID까지 함께 넘어섰다.

조건부 생성은 특히 실용적이다. 스코어 공간에서 베이즈 정리를 쓰면 조건부 스코어가 무조건부 스코어와 순방향 모델의 기울기 합으로 갈라지므로, 무조건부 모델 하나만 학습해 두고 분류기·마스크·물리 시뮬레이션 같은 순방향 모델만 바꿔 끼우면 되고, 강연은 X선 투영을 23개만 쓰는 희소 시점 CT 복원에서 이 접근이 지도학습 기반 딥러닝 방법을 앞섰다는 결과를 보여 줬다. 마지막 절에서는 잡음 수준을 연속으로 확장해 확률미분방정식으로 다시 쓰고, 시간을 거꾸로 흐르게 한 역방향 방정식이 스코어 함수에만 의존한다는 점을 이용해 표본을 만든다. 같은 분포를 공유하는 확률흐름 ODE로 바꾸면 우도를 정확히 계산할 수 있는데, 강연은 CIFAR-10에서 2.83 비트/차원 수준의 값을 보고했다. 이 ODE는 모델 파라미터에 의존하지 않아 구조가 다른 두 모델을 따로 학습해도 같은 이미지가 거의 같은 잠재 코드로 대응된다는 성질도 함께 소개됐다.

주요 인사이트

• '정규화 상수를 피한다'는 한 가지 선택이 아키텍처 자유도를 열었다. 스코어 함수는 정규화될 필요가 없으므로 어떤 신경망이든 갖다 쓸 수 있고, 강연자는 확산 모델이 이미지 분할용으로 개발된 유넷 계열 구조를 그대로 흡수할 수 있었던 것을 성능 우위의 첫 번째 이유로 꼽았다.
• 학계 자원으로 만든 모델이 대기업이 수년간 튜닝한 적대적 생성 신경망을 앞선 사건은, 목적함수 설계가 엔지니어링 물량을 뒤집을 수 있음을 보여준다. 강연자 본인도 컴퓨팅 자원 격차를 감안하면 놀라운 결과였다고 평가했다.
• 조건부 스코어 분해 덕분에 '무조건부 모델 하나 + 과제별 순방향 모델' 구조가 성립한다. 과제마다 전용 모델을 다시 학습하지 않아도 되므로, 투영 개수 같은 촬영 조건이 바뀌어도 같은 모델을 쓸 수 있는 의료영상 분야에서 특히 경제적이다.
• 확산 모델의 잠재 공간은 모델 파라미터와 무관하게 결정되지만, 그만큼 의미 단위로 분리돼 있지 않아 벡터를 직접 만지는 편집이 어렵다. 강연자는 이를 큰 약점으로 보지 않았는데, 텍스트-이미지 모델에서는 문장 자체가 더 해석하기 쉬운 잠재 공간 역할을 하기 때문이다.
• 학습 데이터에 비슷한 이미지가 반복되면 확산 모델은 그 이미지를 통째로 외워 버린다. 강연에서는 이를 '이미지 반추' 문제로 부르며 중복 제거와 데이터셋 확대를 현실적인 대응책으로 제시했다.

자주 묻는 질문

관련 AI 소식