확산모델의 역사 쉽게 이해하기 — 오토인코더·VAE·GAN·디퓨전 정리

핵심 메시지

• 오늘날 주요 LLM은 트랜스포머 기반이지만, 이미지에서 출발한 확산(diffusion) 모델이 언어 영역으로도 확장되며 트랜스포머와 경쟁하기 시작했다.
• 1987년 등장한 오토인코더는 이미지를 저차원 잠재표현으로 압축·복원하며 신경망이 이미지의 핵심 특징을 학습할 수 있음을 보였지만, 결정적이라 새 이미지를 생성하지는 못했다.
• 2013년 VAE는 잠재표현을 확률분포로 저장해 변형 생성을 가능하게 했고, 2014년 GAN은 생성기와 판별기의 경쟁으로 사실적 이미지를 만들었으나 학습이 불안정했다.
• 2015년 비평형 열역학에서 영감을 받은 확산모델은 이미지에 잡음을 서서히 더한 뒤 되돌리도록 학습하며, 순수 잡음에서 원본을 생성할 수 있다.
• 확산모델은 초기 연산 부담으로 묻혔다가 하드웨어 발전과 2020년 DDPM으로 폭발적으로 확산됐고, 텍스트용 Diffusion-LM으로도 이어졌다.

쉽게 이해하기

오늘날 우리가 쓰는 Gemini, Claude, GPT-5 같은 대형 언어모델은 트랜스포머 기반이다. 트랜스포머는 2017년 발표됐지만 GPT 계열이 대중화된 것은 2022년 ChatGPT 무렵으로, 약 5년의 확장과 실험이 있었다. 비슷하게 이미지 생성에서 시작한 확산 기반 모델도 이제 언어 영역으로 진입해 트랜스포머와 직접 경쟁하고 있다. 실제로 2025년 5월 구글은 초당 1,000토큰 이상을 내는 Gemini Diffusion을 공개했다.

이야기를 거슬러 올라가면, AI의 큰 난제 중 하나는 이미지를 이해하는 모델을 학습시키는 일이었다. 언어에는 문법 구조와 눈에 띄는 패턴이 있지만 이미지는 전혀 다른 문제였다. 1987년 오토인코더 개념이 한 논문에서 등장했는데, 데이터를 zip 파일처럼 저차원의 '잠재표현'으로 압축했다가 복원하는 아이디어였다. 주 목적은 차원 축소와 비지도 학습이었지만, 신경망이 이미지의 핵심 특징을 저차원으로 학습할 수 있음을 증명했다.

오토인코더는 손상된 이미지를 복원하는 데 쓰이며 얼굴 인식, 인페인팅, 데이터 압축, 이미지 생성 등으로 확장됐다. 다만 결정적(deterministic)이라 새 이미지를 만들지는 못했다. zip을 풀면 항상 같은 파일이 나오듯, 매번 다른 결과를 낼 수 없었기 때문이다. 2013년 여기에 '변분(variational)'을 붙인 VAE가 나왔다. 잠재표현을 평균과 분산, 즉 확률분포로 저장해 매번 조금씩 다른 출력을 뽑을 수 있게 했고, 이로써 생성 모델의 길을 열었다. 다만 세부를 평균화해 결과가 흐릿해지는 한계가 있었다.

2014년에는 GAN(생성적 적대 신경망)이 등장했다. 오토인코더와 달리 잠재공간에서 결과를 만들어 내는 데만 집중해, 가짜 이미지를 만드는 생성기와 진짜·가짜를 가려내는 판별기가 서로 경쟁하는 게임 구조였다. GAN은 빠르게 최고 수준에 올라 DCGAN, StyleGAN 등 변형을 낳았고, 2017년 FaceApp이나 '이 사람은 존재하지 않는다' 웹사이트가 모두 이 계열이었다. 하지만 학습이 불안정해, 판별기가 너무 강하면 기울기가 사라지는 등 이른바 '모드 붕괴'가 흔한 문제였다.

그러던 2015년, '비평형 열역학을 이용한 심층 비지도 학습' 논문에서 확산모델이 나왔다. 입자가 고농도에서 저농도로 퍼져 평형에 이르는 현상에서 영감을 받아, 이미지에 잡음을 서서히 더한 뒤 이를 되돌리도록 모델을 학습시킨다. 핵심은 복원이 아니라 생성이다. 잡음을 이미지로 되돌리도록 학습해 두면, 순수 잡음에서 시작해 완전히 새로운 고품질 이미지를 만들 수 있다. Stable Diffusion과 DALL·E가 그 성숙한 사례다.

확산모델은 2015년 당시엔 연산 부담이 커 묻혔다. 당시 GTX 980·Tesla K80은 5~9테라플롭에 12GB 미만이었지만, 2022년 H100은 수백 테라플롭에 80GB 이상 대역폭 메모리를 갖췄다. 하드웨어가 따라오고 2020년 DDPM이라는 개선된 학습법이 나오면서 확산모델은 폭발적으로 퍼졌다. 2021년 'Diffusion Models Beat GANs on Image Synthesis' 논문, 2022년 DALL·E 2, Stable Diffusion, Imagen이 이어졌다. 나아가 2022년 텍스트 생성용 Diffusion-LM도 등장했는데, 이미지와 달리 언어는 잡음을 더하면 'cat'이 'chat'처럼 의미가 완전히 바뀌어 어려웠다. Diffusion-LM은 토큰 대신 연속적인 임베딩을 사용해 이를 풀고 다시 텍스트로 복원하는 방식을 제안했다.

주요 인사이트

• 생성 AI의 발전은 '어떻게 새로움을 만들 것인가'라는 질문의 연쇄다. 오토인코더의 압축·복원에서 VAE의 확률적 변형, GAN의 경쟁, 확산의 잡음 되돌리기로 접근법이 진화했다.
• 결정적 모델(오토인코더)과 확률적 모델(VAE)의 차이가 '생성 가능성'을 갈랐다. 매번 다른 출력을 낼 수 있느냐가 생성 모델의 전제 조건이다.
• 좋은 아이디어라도 시기와 하드웨어가 맞아야 꽃핀다. 확산모델은 2015년에 이미 제안됐지만 GPU 성능과 DDPM 같은 학습법이 갖춰진 뒤에야 주류가 됐다.
• 이미지 데이터는 연속적이라 잡음을 더해도 형태가 유지되지만, 언어는 이산적이라 작은 잡음도 의미를 바꾼다. Diffusion-LM이 임베딩을 쓴 이유가 여기에 있다.
• 확산 기반 언어모델(예: Gemini Diffusion)의 등장은 트랜스포머 독주 구도에 변화가 시작됐음을 시사한다. 아키텍처의 세대교체 가능성을 지켜볼 만하다.

자주 묻는 질문

관련 AI 소식