DALL-E 작동 원리 완벽 해설: 텍스트를 이미지로 바꾸는 dVAE와 GPT 두 단계 학습 구조 정리

핵심 메시지

• DALL-E는 텍스트를 이미지로 만드는 파운데이션 모델로, 텍스트-이미지 생성을 시퀀스-투-시퀀스 문제로 재정의해 트랜스포머로 풀어낸다.
• 학습은 두 단계로 나뉜다. 먼저 이산 변분 오토인코더(dVAE)가 이미지를 이미지 토큰으로 바꾸는 법을 배우고, 그다음 GPT가 텍스트로부터 이미지 토큰을 순차적으로 생성하도록 배운다.
• dVAE는 8,192개의 학습 가능한 코드북 벡터를 두어 이미지를 32×32의 이산 토큰 격자로 압축하며, 이 코드북이 이미지의 일반적 특징을 담는 시각적 어휘 역할을 한다.
• GPT 입장에서는 텍스트 토큰과 이미지 토큰이 구분 없이 그저 하나의 토큰 열로 취급되며, 추론 시에는 텍스트만 받아 1,024개의 이미지 토큰을 하나씩 자기회귀적으로 예측한다.
• 토큰을 고르는 샘플링은 미분이 안 돼 역전파를 막으므로, 검벨 소프트맥스 완화와 스트레이트-스루 추정으로 기울기가 흐르게 만든다.

쉽게 이해하기

CodeEmporium 채널의 이 영상은 OpenAI의 텍스트-이미지 생성 모델 DALL-E가 내부적으로 어떻게 작동하는지를 세 번에 걸쳐 점점 더 깊이 파고들며 설명한다. 출발점은 2017년 등장한 트랜스포머다. 원래 언어 번역을 위한 시퀀스-투-시퀀스 구조였던 트랜스포머는 어텐션 메커니즘 덕분에 장기 의존성을 잘 보존해, 기존 최강자였던 LSTM을 넘어섰다.

이후 이미지도 토큰의 열로 바꿔 트랜스포머에 넣는 비전 트랜스포머가 등장했다. 데이터가 충분히 많으면 이 방식이 합성곱 신경망을 앞섰다. 이 흐름 위에서 2021년 OpenAI는 "텍스트-이미지 생성을 시퀀스-투-시퀀스 문제로 볼 수 있을까?"라고 물었고, 그 답이 바로 DALL-E였다.

DALL-E의 핵심 부품은 두 가지다. 이산 변분 오토인코더(dVAE)와 사전학습 트랜스포머(GPT). 1단계에서는 dVAE가 256×256 이미지를 인코더(합성곱망)로 압축해 로짓 격자를 만들고, 토크나이저가 8,192개의 코드북 벡터 중 하나씩을 골라 32×32=1,024개의 이산 이미지 토큰으로 바꾼다. 그다음 디코더가 이 토큰으로 이미지를 복원하며, 복원 손실과 정규화 손실을 함께 최소화한다.

2단계에서는 학습을 마친 dVAE를 고정해 두고 GPT를 훈련한다. 텍스트는 256개 토큰으로(부족하면 패딩) 만들고, 이미지 토큰 1,024개와 이어 붙여 총 1,280개 토큰을 GPT에 넣는다. GPT는 이 토큰들을 구분하지 않고 다음 토큰을 예측하도록 학습되며, 교차 엔트로피 손실로 코드북 임베딩까지 함께 학습된다.

추론 때는 텍스트만 주어진다. 텍스트 토큰을 GPT에 넣어 이미지 토큰을 1,024번 자기회귀적으로 하나씩 생성한 뒤, 이 토큰들을 dVAE 디코더에 통과시켜 최종 이미지를 만든다. 마지막으로 영상은 샘플링의 미분 불가능 문제를 검벨 분포·검벨 맥스 트릭·온도 조절 소프트맥스·스트레이트-스루 추정으로 우회하는 방법까지 수학적으로 짚는다.

주요 인사이트

• 텍스트든 이미지든 모두 "토큰"으로 환원하면, 서로 다른 modality도 같은 트랜스포머로 한꺼번에 다룰 수 있다는 발상이 DALL-E의 뼈대다.
• dVAE의 코드북에 걸리는 정규화 손실(균등 분포와의 KL 발산)은 특정 벡터가 한 이미지의 세부만 외우는 것을 막아, 코드북이 이미지의 일반적 특징을 배우도록 강제한다.
• 샘플링이라는 비미분 연산 때문에 학습이 막히는 문제는 딥러닝에서 흔한데, 검벨 맥스 트릭은 소프트맥스+샘플링을 검벨 노이즈+argmax로 정확히 대체할 수 있음을 보여준다.
• argmax도 여전히 미분이 안 되므로, 순전파에서는 argmax로 토큰을 뽑고 역전파에서는 온도 조절 소프트맥스를 썼다고 "가정"하는 스트레이트-스루 추정으로 기울기를 흘려보낸다.
• 학습은 두 단계로 나뉘지만 추론은 텍스트→이미지 토큰→이미지의 한 방향 파이프라인이라, 구조를 이해하면 생성 과정 전체가 하나로 꿰어진다.

자주 묻는 질문

관련 AI 소식