디퓨전 모델이란? 트랜스포머와의 차이, 노이즈 학습 원리와 역사 정리

핵심 메시지

• 디퓨전은 모델 구조가 아니라 데이터 생성·학습·추론 방식을 정하는 '프레임워크'이며, 트랜스포머 구조 위에서도 구현할 수 있다.
• 디퓨전 모델은 데이터가 부족하고 연산 자원이 풍부한 상황에서 자기회귀 모델보다 적은 데이터로 더 많이 학습하는 데이터 효율성을 보인다.
• 핵심 원리는 깨끗한 데이터에 작은 노이즈를 단계적으로 더했다가, 각 단계에서 더해진 노이즈를 추정해 되돌리도록 학습하는 것이다.
• 2015년 비평형 열역학을 빌린 논문에서 시작해 2020년 DDPM, 2022년 스테이블 디퓨전, 이후 플로 매칭으로 발전하며 추론 속도가 크게 빨라졌다.
• 텍스트 디퓨전 모델이 아직 자기회귀 모델만큼 강하지 못한 데는 추론·학습 인프라가 자기회귀 중심으로 짜여 있다는 현실적 이유가 크다.

쉽게 이해하기

AI의 오랜 목표는 지능을 모방하는 것이었고, 2017년 등장한 트랜스포머 기반 모델이 그 흐름을 주도해 왔습니다. 하지만 2015년의 디퓨전, 2018년의 월드 모델처럼 다른 방식의 모델도 나름의 방법으로 지능을 구현하려 했습니다. 이 영상은 머신러닝 교육자 줄리아 투르크와 함께 디퓨전 모델의 의미를 살펴봅니다.

흔한 오해와 달리 트랜스포머 같은 자기회귀 모델과 디퓨전은 서로 경쟁하는 대안이 아닙니다. 줄리아의 설명에 따르면 트랜스포머는 가중치를 어떻게 연결할지를 정하는 '모델 구조'이고, 디퓨전은 데이터를 어떻게 만들고 어떻게 학습·추론할지를 알려주는 '프레임워크'입니다. 그래서 디퓨전 프레임워크 안에서 트랜스포머 모델을 쓸 수도 있습니다.

디퓨전 모델은 데이터 효율이 높다는 특징이 있습니다. 같은 데이터를 반복 학습하는, 데이터가 희소하고 연산 자원이 풍부한 조건에서는 자기회귀 모델보다 더 적은 데이터로 더 많이 학습할 수 있습니다. 다만 오늘날 대형 언어 모델은 10조 토큰이 넘는 방대한 데이터로 학습되기 때문에, 실제 환경에서는 이런 이점이 늘 결정적인 것은 아닙니다.

디퓨전의 원리는 분자가 고농도에서 저농도로 퍼지는 현상에서 영감을 받았습니다. 깨끗하고 구조화된 데이터에 작은 무작위 노이즈를 단계적으로 더해 가며 점점 망가뜨립니다. 예를 들어 1,000단계에 걸쳐 이미지를 서서히 흐트러뜨리면, 하나의 데이터에서 1,000개의 서로 다른 샘플이 만들어집니다. 모델은 각 단계에서 얼마나 많은 가우시안 노이즈가 더해졌는지를 추정하도록 학습합니다.

발전 과정을 보면, 2015년 '비평형 열역학을 이용한 심층 비지도 학습' 논문이 물리적 확산 개념을 딥러닝에 들여왔고, 2020년 DDPM 논문이 노이즈를 제거하는 방향으로 학습 목표를 단순화하며 본격적인 도약이 시작됐습니다. 2022년 스테이블 디퓨전이 모델을 충분히 키워 가능성을 보였고, 이후 플로 매칭은 수백~수천 번의 반복 대신 몇 번의 반복만으로 결과를 내 추론 속도를 크게 높였습니다.

주요 인사이트

• 트랜스포머는 '구조', 디퓨전은 '프레임워크'라는 구분이 둘을 경쟁 관계가 아닌 직교적 관계로 이해하는 열쇠다.
• 시간을 연속적으로 보는 학파(미분방정식 활용)는 물리적 확산과 더 잘 맞아떨어져, 수 세기 동안 쌓인 수학을 딥러닝에 그대로 끌어올 수 있었다.
• 노이즈를 단계별로 더하면 하나의 데이터에서 여러 학습 샘플을 만들어낼 수 있어, 데이터가 부족할 때 디퓨전이 유리해지는 근거가 된다.
• 머큐리 같은 텍스트 디퓨전 모델이 ChatGPT나 클로드만큼 강하지 못한 것은 vLLM·SGLang 등 추론 엔진의 커널이 자기회귀에 맞춰져 있는 인프라 문제 탓이 크다.

자주 묻는 질문

관련 AI 소식