생성 모델 기초 정리: 오토인코더·VAE·GAN은 어떻게 새로운 데이터를 만들어내는가 (MIT 6.S191 강의)

핵심 메시지

• 생성 모델의 핵심은 데이터에 붙은 정답 라벨 없이 데이터 자체의 확률 분포를 학습하고, 그 분포에서 표본을 뽑아 새로운 데이터를 만들어내는 것이다.
• 오토인코더는 입력을 저차원 잠재 공간으로 압축했다가 다시 복원하는 과정만으로 중요한 특징을 스스로 찾아낸다. 손실 함수에 사람이 정한 라벨이 전혀 필요 없다.
• 변분 오토인코더(VAE)는 잠재 변수를 평균과 표준편차로 이루어진 확률 분포로 다루고, 정규분포를 사전분포로 두어 잠재 공간의 연속성과 완전성을 확보한다.
• 재매개변수화 기법으로 무작위성을 별도의 상수로 떼어내면, 확률적인 잠재 공간을 지나서도 역전파로 학습할 수 있다.
• GAN은 생성자와 판별자를 서로 경쟁시켜, 완전한 무작위 잡음을 실제 데이터 분포로 옮기는 변환 자체를 학습한다.

쉽게 이해하기

강연자는 세 장의 얼굴 사진을 보여주며 어느 쪽이 진짜인지 물었고, 강의실 대부분이 특정 사진을 골랐다. 정답은 셋 다 가짜였다. 생성 모델이 만들어낸 결과가 이미 사람의 눈을 통과할 만큼 사실적이라는 점을 보여주는 도입이었고, 강의는 여기서 출발해 그 사실성이 어떤 원리에서 나오는지를 따라간다.

지금까지의 강의가 데이터와 라벨의 쌍을 주고 그 사이의 대응 관계를 배우는 지도학습을 다뤘다면, 생성 모델은 라벨 없이 데이터만 주어진 비지도학습에 속한다. 목표는 학습 데이터가 뽑혀 나온 확률 분포를 최대한 비슷하게 흉내 내는 모델을 만드는 것이다. 분포를 배워두면 그 분포에서 표본을 뽑는 것만으로 새로운 데이터가 생기고, 반대로 분포의 꼬리에 놓인 사례를 골라내는 이상치 탐지도 가능해진다.

첫 번째 축은 오토인코더다. 이미지를 신경망에 통과시켜 저차원 벡터로 압축한 뒤, 다시 디코더로 원본을 복원하고 입력과 복원 결과의 차이(예를 들어 픽셀 단위 평균제곱오차)를 줄이도록 학습시킨다. 라벨이 하나도 필요 없고, 잠재 공간의 차원을 낮출수록 압축이 강해져 복원 품질은 떨어지는 대신 더 압축된 특징 표현을 얻는다. 강연자는 이 병목이 곧 '무엇이 중요한 특징인가'를 모델이 스스로 정하게 만드는 장치라고 설명한다.

VAE는 여기에 확률을 얹는다. 잠재 변수를 값 하나로 두는 대신 평균과 표준편차를 가진 분포로 학습하면, 같은 입력에서도 표본을 달리 뽑아 새로운 결과를 만들 수 있다. 손실 함수는 복원 항과 정규화 항으로 나뉘는데, 정규화 항은 학습된 잠재 분포가 정규분포라는 사전 가정에서 얼마나 멀어졌는지를 KL 발산으로 잰다. 이 정규화가 없으면 잠재 공간에서 가까운 두 점이 전혀 다른 의미로 복원되거나(연속성 실패), 아무 데서나 표본을 뽑았을 때 의미 없는 결과가 나오는(완전성 실패) 문제가 생긴다.

두 번째 축인 GAN은 잠재 변수의 해석 가능성 대신 표본 생성 자체에 집중한다. 생성자는 무작위 잡음에서 가짜 데이터를 만들고, 판별자는 진짜와 가짜를 가르는 분류기를 학습한다. 둘이 번갈아 좋아지면서 가짜 데이터가 진짜 데이터 위치로 점점 옮겨간다. 강연자는 이를 '분포 변환'으로 요약하는데, 잡음 공간에서 부드럽게 움직이면 생성 결과도 부드럽게 변하고, 시작점을 잡음이 아닌 다른 데이터 영역으로 바꾸면 사이클GAN 같은 스타일 변환이 된다.

주요 인사이트

• 라벨이 없다는 제약이 오히려 장점이 된다. 사람이 미리 중요한 특징을 지정하면 그 관점의 편향이 그대로 모델에 들어가지만, 복원 오차만으로 학습하면 데이터가 스스로 어떤 특징이 중요한지 드러낸다.
• 잠재 공간을 정규화하는 이유는 수학적 미관이 아니라 실용이다. 연속성과 완전성이 없으면 잠재 공간에서 표본을 뽑아도 쓸 만한 결과가 나오지 않아 생성 모델로서 기능하지 못한다.
• 학습된 잠재 변수 하나만 고정한 채 값을 조금씩 바꿔보면 얼굴의 방향 같은 해석 가능한 특징에 대응하는 경우가 많다. 이 성질이 데이터셋에서 과소·과대 대표된 특징을 찾아내 더 공정한 데이터셋을 만드는 실습으로 이어진다.
• GAN은 원리가 우아하지만 학습이 불안정하다는 점을 강연자도 인정한다. 손실 함수 자체는 미분 가능하지만 안정적으로 수렴시키기 어려워, 손실 변형이나 별도 기법을 더한 후속 연구가 많이 나왔다.
• 이 강의는 VAE와 GAN을 최신 기법이 아니라 '기초 구조'로 자리매김한다. 확산 모델과 언어 모델 같은 오늘날의 생성 AI를 이해하려면 잠재 변수와 분포 변환이라는 두 개념을 먼저 잡아야 한다는 관점이다.

자주 묻는 질문

관련 AI 소식