오토인코더 진화 완전정복: VAE 재매개변수화·VQ-VAE 코드북 설명

핵심 메시지

• 오토인코더는 인코더-디코더 구조로 입력을 잠재 코드로 압축했다가 복원하며, 별도 정답 라벨 없이 재구성 오차를 줄이도록 역전파로 학습한다.
• VAE는 잠재 공간을 확률적이고 구조화된 형태로 만들어, 고정된 가우시안 분포에서 벡터를 뽑아 의미 있는 이미지를 생성할 수 있게 한다.
• 샘플링 층 때문에 기울기가 흐르지 않는 문제는 z=mu+sigma⊙epsilon 형태의 재매개변수화 트릭으로 해결한다.
• VAE의 손실은 재구성 손실과, 사후 분포를 표준 가우시안 사전 분포로 밀어붙이는 KL 발산 손실로 이뤄진다.
• VQ-VAE는 학습 가능한 코드북으로 잠재 표현을 이산화해 사후 붕괴를 피하고, 이미지 토큰을 만들어 트랜스포머 같은 시퀀스 모델과 결합하며 DALL-E의 핵심 부품이 된다.

쉽게 이해하기

이 영상은 DALL-E를 다루는 2부작의 첫 편으로, DALL-E를 이해하기 위한 토대인 오토인코더의 발전 과정을 짚는다. 압축을 위한 오토인코더에서 생성 능력을 더한 변분 오토인코더(VAE), 그리고 이산화를 도입한 벡터 양자화 VAE(VQ-VAE)로 이어지는 흐름을 각각 무엇을·왜·어떻게의 관점에서 설명한다. DALL-E에서 실제로 쓰이는 것은 이 VQ-VAE 계열의 이산 변분 오토인코더다.

오토인코더는 입력을 압축했다가 다시 복원하도록 학습하는 신경망이다. 인코더가 입력을 잠재 코드로 줄이고 디코더가 원래 이미지를 복원한다. 정답 라벨이 따로 없고 원본 이미지 자체가 목표가 되며, 컬러 이미지는 평균제곱오차, 흑백 이미지는 이진 교차 엔트로피 같은 재구성 손실을 역전파로 최소화한다.

VAE는 여기서 한발 나아가 잠재 공간을 확률적이고 구조화된 형태로 만든다. 아무 벡터나 디코더에 넣으면 의미 없는 결과가 나오므로, 인코더가 평균과 표준편차 같은 분포의 매개변수를 내놓고 그 가우시안 분포에서 잠재 벡터를 샘플링한다. 다만 샘플링은 확률적 연산이라 기울기를 그대로 흘려보낼 수 없는데, z를 mu에 sigma와 표준정규 잡음 epsilon의 곱을 더한 형태로 다시 쓰는 재매개변수화 트릭으로 이 문제를 푼다.

VAE의 손실은 두 부분이다. 원본을 잘 복원하게 하는 재구성 손실과, 인코더가 내놓는 사후 분포를 표준 가우시안 사전 분포에 가깝게 미는 KL 발산 손실이다. 두 힘이 서로 당기며 평균은 0, 분산은 1 근처로 향하되 복원 품질도 지키게 된다. 학습이 끝나면 표준 가우시안에서 벡터를 뽑아 디코더에 넣어 이미지를 생성하고, 벡터를 조금씩 바꿔 표정 같은 특성을 연속적으로 조절할 수 있다.

VQ-VAE는 잠재 표현을 이산적으로 바꾼 VAE다. 인코더가 만든 연속 벡터 격자를 학습 가능한 코드북의 가장 가까운 벡터로 스냅해 디코더에 넣는다. 재구성 손실에 더해 코드북 손실과 커밋먼트 손실이 서로를 붙잡아 주며, 이산 선택 때문에 기울기가 끊기는 문제는 스트레이트-스루 추정으로 우회한다. 이렇게 하면 사후 붕괴를 피하고, 고정된 코드북이 일반화를 돕고, 이미지가 토큰 열로 표현돼 트랜스포머 계열 모델과 자연스럽게 결합된다.

주요 인사이트

• 오토인코더의 학습이 '비지도'인 이유는 별도 정답 라벨이 아니라 원본 입력 자체를 복원 목표로 삼기 때문이다.
• VAE의 핵심 아이디어는 잠재 공간을 고정된 분포로 정규화해, 아무 곳에서 샘플링해도 그럴듯한 결과가 나오도록 만드는 것이다.
• 재매개변수화 트릭은 확률적 샘플링을 결정적 연산과 외부 잡음으로 분리해, 인코더까지 기울기가 전달되게 하는 열쇠다.
• 강력한 디코더가 잠재 벡터 z를 거의 무시해 버리는 사후 붕괴는 VAE의 약점인데, 분포 매개변수를 출력하지 않는 VQ-VAE에는 이 문제가 존재하지 않는다.
• 이산 코드북과 이미지 토큰화는 이미지를 시퀀스로 다룰 수 있게 해, DALL-E처럼 트랜스포머로 이미지를 생성하는 길을 연다.

자주 묻는 질문

관련 AI 소식