멀티모달 확산모델 해석 연구: 잡음·분화·붕괴 세 국면과 모달 간 동기화 격차 분석

핵심 메시지

• 잘 학습된 확산모델의 역방향 생성 과정은 잡음 구간, 다양한 표본이 갈라져 나오는 분화 구간, 학습 데이터를 그대로 되뇌는 붕괴 구간이라는 세 국면을 뚜렷한 상전이와 함께 통과한다.
• 발표자들은 여러 개의 오른슈타인-울렌벡 확률과정을 묶어 텍스트·이미지·오디오 같은 여러 양식을 동시에 다루는 최소 모형을 세웠고, 그 덕분에 생성 궤적을 손으로 풀 수 있는 형태로 만들었다.
• 모달들이 공유하는 의미(공통 모드)가 세부 차이(차이 모드)보다 먼저 갈라져 나오기 때문에, 생성은 큰 그림을 먼저 확정하고 뒤늦게 세부를 다듬는 순서로 진행된다.
• 붕괴 구간에서 최종 표본에 기여하는 궤적이 하나로 줄어드는 현상은 곧 학습 데이터 암기를 뜻하며, 언어 확산모델에서는 사전학습 데이터 노출이라는 보안 문제로 이어질 수 있다.
• MNIST를 활용한 소규모 실험에서 의미가 정렬된 짝은 무관한 짝보다 동기화 격차가 일관되게 컸고, 이론이 예측한 현상이 실제로 관측됐다.

쉽게 이해하기

물리학은 예측만이 아니라 해석을 함께 목표로 삼아 왔다. 등가속도 운동의 이차식이나 효소 반응의 미하엘리스-멘텐 식처럼, 미시 모형을 이해한 뒤 그것을 데이터에 맞추는 방식이 오랫동안 통했다. 그러나 발표자들은 세계의 대부분이 이런 닫힌 형태의 식을 허락하지 않으며, 규모가 달라질 때마다 아래 단계에서 실질적으로 유도할 수 없는 새로운 법칙이 나타난다고 지적했다.

그럼에도 사람은 옆 사람의 웃음이 진짜인지를 순식간에 판단한다. 식으로 적을 수 없을 뿐 계산 자체는 이뤄지고 있다는 것이다. 비지도 학습, 특히 확산모델은 이런 암묵적인 규칙을 데이터에서 끌어내며, 생물 표본을 학습하면 세포 분열 같은 현상을, 불의 영상을 학습하면 불의 거동을 재현해 낸다. 남은 문제는 그 안에 숨은 식을 어떻게 다시 꺼내느냐, 곧 해석 가능성이다.

발표는 확산모델을 복잡한 분포를 단순한 가우스 분포로 국소화했다가 되돌리는 과정으로 정리한다. 되돌리는 힘에 해당하는 스코어를 신경망이 담당하며, 이를 분석하기 위해 감쇠가 큰 확률 진동자에 해당하는 오른슈타인-울렌벡 과정을 최소 대리 모형으로 삼았다. 이 모형은 해석적으로 풀리기 때문에, 생성 도중 어디에서 무엇이 결정되는지를 계산으로 짚어낼 수 있다.

여러 양식을 함께 다루기 위해 발표자들은 확률과정을 여러 개로 늘리고, 잡음 제거 일정 대신 이완 행렬과 잡음 공분산 행렬을 도입했다. 행렬을 대칭으로 두면 어느 양식도 우위를 갖지 않고, 비등방으로 두면 텍스트가 이미지를 이끄는 식의 단방향 정보 흐름을 만들 수 있다. 두 점 상관함수를 정확히 풀어 생성 흐름을 퍼텐셜로 다시 쓰면, 갈래가 처음 생기는 시점이 갈퀴형 분기 조건으로 드러난다.

실험은 계산 자원 사정상 MNIST 규모로 진행됐다. 숫자 두 장을 짝지어 한쪽 가장자리를 흐리게 만든 의미 정렬 조합과, 서로 다른 부류를 묶은 대조 조합을 비교하자 격차는 정렬 조합에서 일관되게 컸다. 결정론적 표본기 대신 역과정에서 궤적을 복제해 추적했을 때는 결합이 없으면 격차가 보이지 않다가 결합을 키우면 뚜렷해졌고, 확산 트랜스포머에서는 결합이 없을 때도 마지막 층들에 격차가 몰려 나타났다.

주요 인사이트

• 생성이 어느 시점에 무엇을 결정하는지를 알면 조종의 타이밍도 달라진다. 갈래가 생기기 전에는 이끌 대상 자체가 없기 때문에 분류기 없는 유도를 걸어도 소용이 없고, 실제 모델에서는 분기가 반복되며 숲처럼 퍼지기 때문에 그 뒤에도 품질을 끌어올릴 여지가 남는다.
• 2023년 무렵 영상 확산모델을 다루던 엔지니어들이 격자 탐색으로 찾아내던 결합 설정을, 이 이론은 계산으로 짚을 수 있는 시점 문제로 바꿔 놓는다. 해석 연구가 곧 비용 절감과 가속이라는 공학 문제로 이어지는 지점이다.
• 암기 여부를 최종 표본에 기여한 궤적 수로 판정할 수 있다는 점은 안전 문제와 직결된다. 궤적이 여럿이면 일반화, 하나면 암기이며, 언어 확산모델을 일부러 붕괴시키면 무엇을 학습했는지 드러날 수 있다.
• 발표자들은 같은 틀을 다중 에이전트로 넓힐 수 있다고 봤다. 개별 에이전트가 행동을 확정하기 전에 팀 전체가 공유된 계획에 먼저 합의하도록 만드는 문제가, 공통 모드가 먼저 갈라지는 구조와 닮았기 때문이다.
• 질의응답에서는 이 순서가 그로킹과 반대라는 지적이 나왔다. 그로킹은 학습 도중 암기에서 일반화로 넘어가지만, 이 논의는 이미 최적으로 학습된 모델이 추론 과정에서 지나는 국면을 다룬다는 점에서 층위가 다르다.

자주 묻는 질문

관련 AI 소식