잠재변수 모델과 VAE 입문: 표현 학습부터 ELBO와 변분추론까지 한 번에 정리

핵심 메시지

• 자기회귀 모델은 생성과 밀도 추정에는 강하지만, 데이터에 숨은 구조를 스스로 발견하는 표현 학습에는 적합하지 않다.
• 잠재변수 모델은 눈에 보이는 데이터 X와 관측되지 않은 특징 Z의 결합 확률분포를 함께 학습한다.
• 가우시안 혼합 모델의 유한한 군집을 연속 벡터로 확장하고 신경망으로 매핑한 것이 VAE가 쓰는 모델이다.
• 잠재변수를 모두 더하거나 적분해야 하는 학습 목표는 계산이 불가능해, 옌센 부등식으로 얻은 하한(ELBO)을 대신 최대화한다.
• 실제 로그가능도와 ELBO의 간격은 근사 분포 Q와 참 사후분포 사이의 KL 발산과 정확히 같다.

쉽게 이해하기

코넬대 CS 6785 심층 생성모델 강의의 다섯 번째 시간은 새로운 모델 계열인 잠재변수 모델과 그 대표 격인 변분 오토인코더로 넘어간다. 강의는 먼저 앞선 네 번의 강의를 정리한다. 지금까지 다룬 자기회귀 모델은 확률의 연쇄법칙에 따라 이미지의 각 픽셀이나 문장의 각 단어를 앞선 것들에 조건부로 예측하는 구조였고, 그 덕분에 데이터의 가능도를 직접 계산하고 최대가능도로 학습할 수 있었다.

하지만 이 방식에는 두 가지 약점이 있다. 하나는 샘플을 만들 때 구성 요소를 하나씩 순차적으로 생성해야 해서, 픽셀이 수십만 개를 넘는 고해상도 데이터에서는 그만큼 긴 반복이 필요하다는 점이다. 다른 하나는 데이터 안에 숨은 군집이나 패턴을 비지도 방식으로 찾아내는 일, 즉 표현 학습을 자연스럽게 해내지 못한다는 점이다. 이번 강의는 바로 이 한계를 겨냥한다.

사람 얼굴 데이터셋을 떠올려 보면 성별, 눈 색, 피부색, 나이, 안경 착용 여부, 머리 길이처럼 변이를 만드는 요인이 많지만 그 어떤 것도 라벨로 적혀 있지 않다. 강의는 이렇게 존재하지만 기록되지 않은 요인을 잠재변수 Z로 두고, 관측된 데이터 X와의 결합분포를 학습하자고 제안한다. 학습이 끝나면 어떤 이미지가 주어졌을 때 가장 그럴듯한 Z가 무엇인지 물을 수 있고, 그것이 곧 그 이미지의 잠재 표현이 된다.

다만 Z를 사람이 직접 설계하기는 어렵다. 그래서 강의는 해석 가능한 범주형 변수 대신 연속적인 분산 표현을 쓴다. 각 차원이 무엇을 뜻하는지는 대개 알 수 없지만, 비슷한 이미지가 비슷한 위치로 모이기 때문에 보간이나 조작, 시각화가 가능해진다. 실제로 손글씨 숫자를 2차원 잠재공간에 학습시키면 라벨을 준 적이 없는데도 숫자별 군집이 갈리고, 꼬리에 고리가 있는 2와 없는 2, 곧게 쓴 1과 기울여 쓴 1까지 서로 다른 영역으로 나뉜다.

모델 자체는 가우시안 혼합에서 출발한다. Z가 K개의 군집 중 하나를 고르고 X는 그 군집의 평균과 분산을 따르는 구조인데, 이를 무한한 개수로 확장한 것이 강의가 '심층 잠재 가우시안 모델'이라 부르는 형태이자 VAE가 쓰는 모델이다. 사전분포는 평균 0, 단위 분산의 가우시안으로 두고, 연속 벡터 Z에서 평균과 분산으로 가는 매핑을 신경망이 담당한다. 문제는 학습이다. 데이터의 확률을 구하려면 가능한 모든 Z에 대해 더하거나 적분해야 하는데, 30차원 이진 잠재변수만 해도 항의 개수가 2의 30제곱이라 현실적으로 계산할 수 없다.

여기서 등장하는 우회로가 변분추론이다. 임의의 분포 Q를 곱하고 나누어 식을 기댓값 형태로 바꾼 뒤, 로그가 오목함수라는 성질에서 나오는 옌센 부등식을 적용하면 원래 목표의 하한을 얻는다. 이 하한이 바로 ELBO다. 강의는 로그가능도가 정확히 'ELBO + Q와 참 사후분포 사이의 KL 발산'으로 분해된다는 점을 보여 준다. 즉 이상적인 Q는 참 사후분포지만 그것을 계산할 수 있었다면 애초에 이 근사가 필요 없었을 것이므로, 현실에서는 Q를 파라미터로 둔 분포족 안에서 하한이 최대한 팽팽해지도록 최적화한다.

주요 인사이트

• 생성 품질과 표현 학습은 별개의 능력이다. 그럴듯한 이미지를 잘 만드는 모델이라고 해서 데이터의 구조를 설명해 주지는 않는다.
• 표현이 해석 가능해야 쓸모 있는 것은 아니다. 각 차원의 의미를 몰라도 비슷한 것끼리 가깝게 모이기만 하면 보간과 편집, 군집 발견이 가능해진다.
• 표현력을 키우면 학습이 어려워진다. 단일 가우시안보다 혼합이 복잡한 분포를 잘 맞추지만, 목적함수가 여러 극값을 갖게 되어 최적화가 까다로워진다.
• ELBO는 편법이 아니라 정확히 정량화된 근사다. 참값과의 차이가 KL 발산이라는 명시적인 양으로 표현되기 때문에, 무엇을 줄여야 근사가 좋아지는지 분명하다.
• 익숙한 EM 알고리즘도 같은 틀 안에 있다. 가우시안 혼합처럼 참 사후분포를 계산할 수 있는 특수한 경우에 변분추론이 EM으로 환원된다.

자주 묻는 질문

관련 AI 소식