VAE 유도 과정 정리 — ELBO와 REINFORCE, 재매개변수화 트릭, 상각 추론으로 잠재변수 모델 학습하기

핵심 메시지

• 잠재변수 모델의 주변 로그가능도는 모든 잠재변수 값에 대해 합을 구해야 해서 직접 계산할 수 없다. 잠재변수가 30차원 이진 벡터이기만 해도 2의 30승 개의 항이 생긴다.
• 변분추론은 로그가능도를 계산 가능한 ELBO와 계산 불가능한 KL 발산의 합으로 분해한 뒤, KL이 항상 0 이상이라는 점을 이용해 ELBO만 끌어올리는 전략이다.
• 모델 파라미터에 대한 그래디언트는 쉽게 구할 수 있지만 변분 파라미터에 대한 그래디언트는 기대값 자체가 그 파라미터에 의존하기 때문에 어렵다.
• REINFORCE 추정량은 이산·연속을 가리지 않지만 잠재변수 차원이 커지면 분산이 폭증해 사실상 학습이 되지 않는다. 잠재변수가 연속이면 재매개변수화 트릭이 훨씬 안정적이다.
• 데이터마다 변분 파라미터를 다시 최적화하는 내부 루프를 신경망으로 대체하는 것이 상각 추론이며, 이 신경망이 곧 VAE의 인코더다.

쉽게 이해하기

잠재변수 모델의 출발점은 데이터에 이름표가 붙어 있지 않다는 사실이다. 얼굴 사진 묶음에는 성별, 피부색, 머리 색 같은 변동 요인이 분명히 존재하지만 어디에도 표시되어 있지 않다. 강의가 다루는 심층 가우시안 잠재변수 모델은 이 요인들을 연속 벡터로 두고, 그 벡터로부터 이미지의 평균과 공분산을 만들어내는 함수를 신경망으로 파라미터화한다. 유한한 성분을 가진 가우시안 혼합 모델을 무한 차원으로 확장한 것으로 볼 수 있다.

문제는 학습이다. 자기회귀 모델이라면 순전파 한 번으로 데이터의 확률을 얻지만, 잠재변수 모델은 결합 확률에 대한 공식만 있을 뿐 주변 확률을 얻으려면 가능한 모든 잠재변수 값을 합쳐야 한다. 잠재변수가 연속이면 적분이 되고, 이산이더라도 차원이 조금만 커지면 항의 개수가 감당할 수 없이 늘어난다. 순전파가 불가능하니 역전파도 불가능하다.

변분추론은 여기에 우회로를 낸다. 주변 로그가능도는 어떤 분포 q를 골라도 ELBO와, q와 참 사후분포 사이의 KL 발산의 합으로 정확히 분해된다. 뒤쪽 항은 계산할 수 없지만 항상 0 이상이므로 버릴 수 있고, 남은 ELBO는 로그가능도의 하한이 된다. q가 참 사후분포와 가까울수록 이 하한은 팽팽해지므로, 계산 가능한 분포족 안에서 가장 좋은 q를 찾는 최적화 문제로 바뀐다. 강의는 여기서 데이터 포인트마다 별도의 변분 파라미터가 필요하다는 점을 짚는다.

그래디언트를 구하는 단계에서 난관이 갈린다. 모델 파라미터에 대해서는 기대값과 미분 연산을 맞바꿔도 되므로 몬테카를로 근사로 간단히 처리된다. 반면 변분 파라미터는 기대값을 취하는 분포 자체를 정하는 값이라 그대로 맞바꿀 수 없다. 첫 번째 해법인 REINFORCE 추정량은 로그 도함수 트릭으로 이 문제를 우회하며 강화학습에서 유래한 이름 그대로 범용적이지만, 확률이 0에 가까울 때 로그 항이 급격히 요동쳐 분산이 커진다. 강의는 잠재 차원이 32 정도면 버티지만 100 이상에서는 거의 학습되지 않는다고 설명한다.

잠재변수가 연속이라면 더 나은 길이 있다. 가우시안 표본을 평균에 표준편차 곱하기 표준정규 잡음을 더한 형태로 다시 쓰면, 기대값을 취하는 분포가 파라미터와 무관한 잡음 분포가 되어 미분과 기대값을 자유롭게 맞바꿀 수 있다. 이것이 재매개변수화 트릭이며 로그 확률 항이 사라지는 만큼 분산도 훨씬 작다. 마지막으로 데이터마다 반복되던 내부 최적화 루프를 입력을 받아 변분 파라미터를 곧바로 뱉는 신경망으로 대체하면, 모델과 추론망을 함께 한 번에 갱신할 수 있다. 이 세 조각을 합친 것이 변분 오토인코더다.

이름에 오토인코더가 붙은 이유는 ELBO를 다시 정리해 보면 드러난다. 항을 옮겨 쓰면 ELBO는 잠재 코드로부터 원본을 되살리는 재구성 항과, 잠재 코드의 분포를 사전분포에 가깝게 묶어 두는 정규화 항의 합이 된다. 가우시안 로그가능도를 풀어 쓰면 재구성 항은 예측 평균과 원본 사이의 L2 손실 형태가 되어 통상적인 오토인코더와 닮는다. 정규화 항이 없다면 인코더가 잠재 공간을 제멋대로 써도 무방해져서, 사전분포에서 잠재 벡터를 뽑아 새 이미지를 생성하는 일이 불가능해진다.

주요 인사이트

• 잠재 공간이 해석 가능한 이름표 없이 그냥 숫자 벡터여도 구조는 드러난다. 손글씨 숫자 데이터를 2차원 잠재 공간에 사상하면 같은 숫자끼리 모이는 배치가 학습된다.
• 머신러닝에서 계산 불가능한 사후 추론을 다루는 큰 갈래는 두 개다. 최적화 문제로 바꾸는 변분추론과, 오래 표본을 뽑는 마르코프 연쇄 몬테카를로다. 이 강의는 전자를 택한다.
• REINFORCE는 생성모델 밖에서 더 유명하다. 원래 강화학습에서 유도된 추정량이며, 잠재변수 모델에서도 같은 형태의 문제를 푼다는 점이 이 강의의 연결 고리다.
• 상각 추론은 이론적으로는 최적의 변분 파라미터를 놓치지만, 강의자는 모델 파라미터를 학습하는 것이 목적인 상황에서 그 손해가 실질적으로 크지 않다고 본다.
• 잠재변수 모델의 장점은 표현 학습과 효율적인 표본 생성이고, 단점은 로그가능도를 정확히 구할 수 없다는 점이다. 밀도 추정이 목적이라면 적합한 선택이 아니며, 다음 주제인 정규화 흐름이 두 이점을 한 모델에 담으려는 시도로 소개된다.

자주 묻는 질문

관련 AI 소식