변분추론과 ELBO 완전 이해: 뇌와 생성 AI가 공유하는 불확실성 추론의 수학 원리

핵심 메시지

• 뇌가 일부만 보이는 물체를 알아보는 일과 AI가 문장에서 이미지를 만드는 일은 '불완전한 데이터로 불확실성 아래 추론한다'는 같은 문제다.
• 고차원 관측을 직접 모델링하는 대신 눈에 보이지 않는 잠재변수를 도입하면 문제가 다룰 수 있는 크기로 줄어든다.
• 신경망은 확률을 직접 내놓지 않고 분포의 매개변수를 내놓는다. 등방 가우시안 가정을 쓰면 평균 벡터 하나만 출력하면 된다.
• 잠재공간의 차원이 커지면 무작위 표집으로는 중요한 영역을 찾을 수 없어, 어디를 볼지 알려주는 '안내자' 신경망을 함께 학습한다.
• 로그와 평균의 순서를 바꾸면 옌센 부등식에 의해 하한이 생기고, 이 하한인 ELBO는 정확도 항과 복잡도 벌점으로 깔끔하게 갈린다.

쉽게 이해하기

뇌와 인공 신경망은 모두 복잡한 입력에 파묻혀 있다. 뇌에게는 망막 뉴런의 활동 패턴이고 AI에게는 이미지의 픽셀값이다. 어려운 점은 이 데이터가 고차원이라는 사실이다. 가로세로 100픽셀짜리 이미지 한 장에도 서로 독립이 아닌 1만 개의 값이 들어 있다. 지능적인 시스템의 요령은 이 값들 사이에 이미 존재하는 규칙성을 이용해, 관측의 본질만 담은 압축된 모델을 세우는 것이다.

영상은 해양 조사선의 예로 이를 구체화한다. 수온, 염분, 엽록소 농도를 재는 센서 세 개를 바다에 담글 때마다 세 숫자로 된 데이터 점을 얻는데, 이 값들은 서로 독립이 아니라 해양 생물군계 같은 구조에 묶여 있다. 그래서 관측 뒤에 하나의 숨은 변수를 놓고, 먼저 그 잠재변수를 사전분포에서 뽑은 다음 그 값에 맞는 관측 분포를 정하는 방식으로 모델을 세운다. 이 잠재요인이 실제로 무엇을 뜻하는지 미리 알 필요는 없다는 것이 이 접근의 묘미다.

여기서 한 가지가 자주 생략된다. 컴퓨터는 매끄러운 곡선인 확률분포를 어떻게 담아 두는가. 값마다 확률을 나열하는 방식은 곧 감당할 수 없어지므로, 몇 개의 매개변수로 분포 전체를 지정하는 방법을 쓴다. 가우시안은 평균과 분산 두 값으로 무한히 뻗은 곡선을 완전히 결정한다. 다만 다차원에서는 공분산 행렬이 문제가 된다. 1만 픽셀 이미지라면 공분산만 1만×1만, 즉 1억 개의 매개변수가 필요해 제대로 추정할 수 없다. 그래서 모든 방향의 분산이 1이고 상관이 없는 등방 가우시안을 가정하고, 신경망은 평균 벡터만 출력하게 한다.

학습의 목표는 알 수 없는 참 데이터 분포와 모델 분포 사이의 쿨백-라이블러 발산을 줄이는 것이다. 이 발산을 로그의 성질로 두 항으로 쪼개면 한 항은 데이터 분포 자체의 엔트로피여서 모델 매개변수와 무관한 상수다. 결국 남는 것은 모델이 관측에 부여하는 로그 확률의 기대값을 키우는 일이고, 참 분포를 모르니 우리가 모은 표본들의 단순 평균으로 그 기대값을 근사한다. 흔한 관측은 데이터셋에 자연히 더 많이 담겨 있으므로, 표본 평균은 참 확률로 가중한 평균과 같은 역할을 한다.

문제는 잠재공간이 커질 때다. 한 데이터 점의 확률을 구하려면 모든 잠재값에 대해 합해야 하는데, 필요한 표본 수는 차원에 따라 지수적으로 늘어난다. 게다가 무작위로 뽑은 잠재값 대부분은 특정 데이터 점을 설명하지 못한다. 영상은 광활한 숲에서 나무 평균 키를 재는 비유를 든다. 어린 나무가 몰린 골짜기가 전체의 90%, 아주 큰 노목이 있는 능선이 10%라면, 무작위 표집은 큰 나무를 놓쳐 평균을 과소평가한다. 대신 절반씩 뽑고 능선 표본에 0.2, 골짜기 표본에 1.8을 곱해 편향을 보정하는 것이 중요도 표집이다. 변분추론의 핵심은 이 '숲 안내자' 역할을 하는 별도의 신경망을 학습해, 각 관측을 만들어냈을 가능성이 높은 잠재영역만 골라 표집하게 하는 것이다. 마지막으로 로그와 평균의 순서를 바꾸면 계산이 안정되고 병렬화도 되는데, 로그가 오목함수라 옌센 부등식에 의해 그 값은 원래 목표의 하한이 된다. 이 하한이 ELBO이고, 풀어 쓰면 잠재값이 데이터를 얼마나 잘 설명하는지를 재는 정확도 항과, 안내자가 사전 믿음에서 너무 멀어지지 않게 붙잡는 복잡도 벌점의 합으로 갈린다.

주요 인사이트

• 확률분포를 컴퓨터로 다루는 실질적인 방법은 곡선을 저장하는 것이 아니라 몇 개의 매개변수로 분포를 지정하는 것이다. 이 관점을 잡으면 '신경망이 분포를 출력한다'는 표현이 분명해진다.
• 등방 가우시안을 가정하면 로그 확률이 출력과 데이터 사이의 제곱거리로 단순해져 익숙한 '재구성 오차'가 등장한다. 다만 그것은 ELBO의 본질이 아니라 가정에서 따라 나온 결과다.
• 중요한 희귀 사례를 일부러 더 뽑고 가중치로 편향을 보정하는 편이, 그 사례를 놓칠 위험을 감수하는 것보다 낫다는 원칙은 표집 문제 전반에 통한다.
• 로그와 기대값의 순서를 바꾼 것은 수치 안정성과 병렬 처리를 얻기 위한 실용적 타협이고, 그 대가로 등호가 아닌 하한을 다루게 된다.
• ELBO의 두 항은 성능과 단순함의 균형으로 읽을 수 있다. 복잡도 벌점이 있어야 잠재공간이 데이터마다 제멋대로 갈라지지 않고 매끄럽게 남는다.

자주 묻는 질문

관련 AI 소식