생성모델 결합 강의 정리 — 자기회귀·VAE·플로우·GAN·확산모델을 섞는 다섯 가지 방법

핵심 메시지

• 생성모델 계열마다 잘하는 일이 다르다. 생성, 밀도 추정, 표현 학습을 모두 잘하는 단일 계열은 없다.
• 결합은 크게 두 갈래다. 모델의 표현과 구조를 합치는 방식, 그리고 학습에 쓰는 목적함수를 바꿔 끼우는 방식이다.
• 표현력이 큰 디코더를 붙이면 모델이 잠재변수를 아예 무시해 버리는 실패가 실제로 발생하며, 이는 ELBO 자체의 구조에서 비롯된다.
• 상호정보량을 목적함수에 더하는 처방은 VAE와 GAN 양쪽에서 잠재변수를 쓰게 만드는 공통 도구가 됐다.
• 스테이블 디퓨전의 토대인 잠재 확산은 VAE로 이미지를 압축한 뒤 그 잠재공간에서 확산을 돌리는 결합의 대표 사례다.

쉽게 이해하기

코넬대 볼로디미르 쿨레쇼우 교수의 CS 6785 '심층 생성모델' 15강은 한 학기 동안 배운 모델 계열을 되짚는 것으로 시작한다. 생성과 밀도 추정, 표현 학습이라는 세 과제 가운데 자기회귀 모델과 정규화 플로우는 정확한 로그 우도를 주는 반면 잠재변수 모델과 GAN, 점수 기반 확산모델은 우도를 정확히 재기 어렵고, 표현 학습은 잠재변수를 가진 모델의 몫이다. 계열을 섞어 각각의 장점만 취할 수 있느냐가 이 강의의 질문이고, 첫 사례로 나오는 픽셀VAE는 일반 VAE의 디코더 자리에 픽셀CNN을 넣어 잠재코드를 업샘플링한 채널을 이미지에 이어 붙이는 구조다. 강한 우도와 픽셀CNN다운 특징 학습을 함께 얻으면서 분포 전체를 한 신경망이 감당하지 않아도 되므로 개별 픽셀CNN은 더 작아도 되고, 시계열이나 영상처럼 시간축이 있는 데이터라면 시점마다 잠재변수를 두는 변분 RNN 쪽이 더 어울린다.

플로우는 두 가지 방식으로 끼어든다. 자기회귀 모델을 플로우 층으로 보고 쌓으면 밀도를 계산할 수 있는 채로 표현력을 키울 수 있고, 반대로 VAE의 인코더에 플로우를 붙일 수도 있다. ELBO와 실제 로그 우도의 간격은 정확히 참 사후분포와 근사 사후분포 사이의 KL 발산이므로, 가우시안 표본을 플로우에 한 번 통과시켜 다봉이거나 복잡한 형태를 만들면 그 간격이 좁아진다. 레젠데와 모하메드가 시작하고 킹마 등이 역자기회귀 플로우로 확장한 갈래로, 사전분포 공간을 촘촘히 채워 표본 품질까지 좋아진다.

두 번째 갈래는 목적함수를 바꾸는 결합이다. 플로우는 어떤 방식으로 학습하든 우도를 계산할 수 있으므로, 플로우를 GAN 손실로 훈련하는 플로우GAN 실험이 가능해진다. 결과는 선명했다. 적대적 손실로 훈련하면 인셉션 점수 기준 표본 품질이 가장 좋지만 로그 우도는 터무니없이 나빠지고, 최대우도로 훈련하면 그 반대가 된다. 우도와 표본 품질이 서로 무관할 수 있다는 주장을 경험적으로 확인한 셈이다. 같은 발상을 잠재공간에 적용해 KL 발산을 젠슨-섀넌 발산으로 갈아 끼우면 적대적 오토인코더가 되고, 별 모양처럼 까다로운 사전분포도 훨씬 또렷하게 맞춘다.

강의는 ELBO를 다시 써서 고질적인 실패의 정체를 드러낸다. ELBO는 결국 두 결합분포 사이의 KL 발산으로 정리되는데, 디코더가 잠재변수를 완전히 무시한 채 데이터 분포를 맞추고 인코더가 입력과 무관하게 사전분포만 내놓아도 그 등식이 성립한다. 픽셀CNN 같은 강력한 디코더나 텍스트용 변분 RNN에서 실제로 벌어지는 일이다. 처방은 상호정보량을 목적함수에 더해 잠재변수를 쓰도록 압박하는 것이며, GAN 쪽의 인포GAN이 같은 원리로 자세나 조명 같은 요인을 분리해 낸 사례가 된다. 베타VAE의 베타 조정 역시 뒤이은 인포VAE 연구를 통해 상호정보량 항을 더하는 일과 같다는 해석이 붙었다.

마지막은 확산모델과의 결합이다. 잠재 확산은 메가픽셀급 이미지를 픽셀 공간에서 직접 디노이징하는 대신 VAE로 압축한 잠재공간에서 확산을 돌리고, 마지막에 디코더로 픽셀로 되돌린다. 텍스트 같은 보조 입력은 교차어텐션 층으로 조건화하며, 스테이블 디퓨전이 바로 이 구조를 대규모 데이터로 학습하고 CLIP 임베딩으로 조건화한 결과물이다. 확산모델은 GAN과도 붙을 수 있고, 문장의 단어를 하나씩 지우는 과정을 일종의 노이즈 주입으로 보면 자기회귀 생성 자체를 역방향 확산으로 읽어 임의 순서 생성으로 확장할 수도 있다.

주요 인사이트

• 계열 간 결합을 이해하는 열쇠는 '어디를 갈아 끼우는가'다. 디코더, 인코더, 사전분포, 목적함수 중 무엇을 바꾸느냐에 따라 픽셀VAE, 플로우 인코더, 적대적 오토인코더, 플로우GAN으로 갈린다.
• 플로우GAN은 우도와 표본 품질이 함께 움직인다는 통념을 실험으로 깬다. 평가 지표를 하나만 보고 생성모델을 판단하면 안 되는 이유가 여기 있다.
• 잠재변수 무시 문제는 구현 버그가 아니라 목적함수의 성질이다. ELBO를 다시 정리해 보면 잠재변수를 쓰지 않는 해도 최적해가 될 수 있다는 점이 드러난다.
• 강의는 이 모델들이 생성모델링의 끝이 아니라 기본 부품이라고 강조한다. 어떤 과제냐에 따라 전역 잠재변수와 시점별 잠재변수처럼 선택이 갈리고, 조합의 여지는 아직 넓게 남아 있다.

자주 묻는 질문

관련 AI 소식