생성 모델 기초 완전 정리: 오토인코더, VAE, GAN의 원리와 차이점 (MIT 6.S191)

핵심 메시지

• 생성 모델의 핵심은 그럴듯한 이미지를 만드는 것이 아니라 데이터의 확률 분포 자체를 학습하는 데 있다.
• 오토인코더는 입력을 저차원 잠재 공간으로 압축했다가 복원하게 해, 라벨 없이도 데이터의 주요 변화 축을 학습한다.
• VAE는 잠재 변수를 평균과 분산으로 바꿔 확률 분포로 다루고, 정규분포를 사전 분포로 두는 정규화로 잠재 공간의 연속성과 완전성을 확보한다.
• 재매개변수화 기법은 무작위성을 별도의 잡음 변수로 분리해, 샘플링이 들어간 모델에도 역전파가 가능하게 만든다.
• GAN은 잠재 변수 해석을 포기하는 대신 생성기와 판별기를 경쟁시켜 잡음 분포를 데이터 분포로 옮기는 데 집중한다.

쉽게 이해하기

강의는 세 장의 얼굴 사진 중 진짜를 고르는 질문으로 시작한다. 예년에는 셋 다 AI 생성물인 함정 문제였지만, 이번에는 모델 성능이 진짜와 구분하기 어려운 수준에 이르렀다고 판단해 실제 사진 한 장을 섞었다고 강사는 설명했다. 나머지 두 장은 구글의 최신 제미나이 모델로 만든 것이었다.

앞선 세 강의가 데이터 X와 라벨 Y 사이의 함수 관계를 배우는 지도학습이었다면, 생성 모델은 라벨 없이 데이터만 주어진 비지도 학습 영역에 속한다. 목표는 데이터가 놓인 확률 분포를 모델이 최대한 가깝게 표현하는 것이고, 이로부터 분포를 추정하는 밀도 추정과 새로운 샘플을 만들어 내는 샘플 생성이라는 두 가지 활용이 나온다. 강사는 이 원리가 매우 기본적인데도 고급 수준에서조차 자주 간과된다고 지적했다.

생성 모델의 쓸모는 이미지 생성에 그치지 않는다. 데이터셋에 내재한 편향을 모델이 그대로 학습하는 문제를 완화하는 디바이어싱, 자율주행이나 의료처럼 드문 사례가 치명적인 영역에서의 이상치 탐지, 그리고 언어 모델과 이미지 생성 모델의 근간이 되는 샘플 생성까지 폭넓게 쓰인다. 강의에 딸린 실습은 얼굴 인식 시스템의 디바이어싱을 다룬다.

오토인코더의 아이디어는 라벨 대신 데이터 자신을 정답으로 쓰는 것이다. 입력을 저차원 잠재 공간으로 눌렀다가 다시 원래 공간으로 복원하고, 입력과 복원 결과의 차이를 손실로 삼아 학습한다. 잠재 공간의 차원이 곧 정보의 병목이 되므로, 너무 작으면 표현력이 떨어지고 너무 크면 압축된 표현을 배우는 의미가 사라진다. 강사는 이 잠재 변수 개념을 플라톤의 동굴 비유로 설명했는데, 벽에 비친 그림자가 관측 데이터라면 그림자를 만든 실제 사물이 잠재 변수에 해당한다.

그러나 기본 오토인코더는 결정론적이어서 같은 입력에 늘 같은 출력을 낸다. VAE는 잠재 변수를 직접 배우는 대신 각 변수의 평균과 분산을 배워 확률 분포로 다루면서 이 한계를 넘는다. 손실 함수에는 복원 항에 더해 학습된 분포가 사전 분포와 얼마나 다른지를 재는 정규화 항이 붙는다. 정규분포를 사전 분포로 쓰는 이유는, 평균을 중심으로 모으고 분산을 적절히 유지해야 잠재 공간이 연속적이고 빈틈 없는 성질을 갖기 때문이다. 여기에 샘플링을 무작위 변수 엡실론으로 떼어내는 재매개변수화를 적용해 역전파가 가능해진다.

GAN은 방향이 다르다. 해석 가능한 잠재 변수 집합을 얻는 데는 관심이 없고 오직 새 샘플 생성을 노린다. 잡음에서 데이터를 만들어 내는 생성기와, 주어진 표본이 진짜인지 가짜인지 판정하는 판별기를 서로 경쟁시켜 학습한다. 생성기가 만든 점들이 점점 진짜 데이터 쪽으로 옮겨 가고 판별기는 그때마다 다시 구분법을 갱신하는 과정이 반복된다. 이 적대적 목적함수는 학습이 불안정하기로 유명해 이후 여러 개선이 이어졌고, 한 데이터 영역을 다른 영역으로 옮기는 사이클GAN 같은 변형도 등장했다.

주요 인사이트

• 강사가 올해 처음으로 진짜 사진을 섞었다는 사실 자체가 생성 이미지 품질의 변화를 보여 주는 지표다. 판별 실험의 난이도가 모델 발전 속도를 대신 말해 준다.
• 오토인코더의 손실 함수에 라벨이 전혀 등장하지 않는다는 점이 핵심이다. 데이터 자신을 정답으로 삼는 구조가 비지도 표현 학습을 가능하게 한다.
• 잠재 공간에 필요한 성질을 연속성과 완전성으로 나눠 설명하면, 정규분포를 사전 분포로 고르는 선택이 임의적 관습이 아니라 목적에 맞춘 결정임을 알 수 있다.
• 재매개변수화는 '확률적 연산은 미분할 수 없다'는 제약을 우회하는 방식이라기보다, 학습해야 할 부분과 학습하지 않아도 되는 부분을 분리하는 설계에 가깝다.
• VAE와 GAN의 차이는 성능 우열이 아니라 목표의 차이다. 해석 가능한 표현이 필요한지, 생성 품질만 필요한지에 따라 구조 선택이 갈린다.

자주 묻는 질문

관련 AI 소식