확률적 추론과 딥러닝의 결합, 코넬대 심층 생성모델 강의 17강이 정리한 박스의 순환과 LDA

핵심 메시지

• 확률적 추론은 문제를 블랙박스 예측기로 푸는 대신, 사전 지식을 담은 구조화된 확률 모델을 세우고 그 안의 숨은 변수를 추론하는 접근이다.
• 통계학자 조지 박스가 제시한 '박스의 순환'은 모델 설계 → 추론·학습 → 결과 비평 → 모델 수정의 반복으로 머신러닝 문제를 다루는 절차다.
• 문서의 주제를 자동으로 찾아내는 LDA는 알고 싶은 값을 전부 잠재변수로 두고 데이터에서 역으로 추론하는 대표적 사례다.
• 가우시안 혼합모델처럼 단순한 고전 모델의 각 성분을 VAE로 바꾸면, 구조는 사람이 정하고 복잡한 모양은 신경망이 맡는 조합이 가능하다.
• 신경망은 모델을 표현하는 데뿐 아니라 추론 알고리즘 자체를 자동화·가속하는 데도 쓰이며, 확률적 프로그래밍 언어가 이를 소프트웨어로 구현한다.

쉽게 이해하기

코넬대 심층 생성모델 수업의 마지막 강의는 특정 모델 계열을 다루지 않고, 수업 전체를 관통하는 사고방식을 정리한다. 강연자는 이를 '확률적 추론'이라고 부르며, 지금까지 배운 생성모델들이 사실은 더 큰 흐름의 특수한 사례라고 설명한다. 생성, 밀도 추정, 비지도 표현 학습이라는 개별 과제를 넘어 머신러닝 문제 자체를 어떻게 바라볼 것인지에 관한 이야기다.

출발점은 '어떤 수업이 어려운가'를 성적 데이터로 판별하는 간단한 문제다. 한 가지 방법은 로지스틱 회귀나 신경망 같은 블랙박스 분류기를 그대로 학습시키는 것이다. 다른 방법은 성적, 수능 점수, 추천서 같은 변수들이 서로 어떻게 얽혀 있는지에 대한 사전 지식을 베이즈 네트워크로 그려 넣고, 그 구조 위에서 난이도를 추론하는 것이다. 후자는 손이 더 가지만, 가정이 맞다면 훨씬 적은 데이터로 더 나은 답을 얻을 수 있다.

강연자는 이 절차를 통계학자 조지 박스의 이름을 딴 '박스의 순환'으로 정리한다. 문제 구조에 대한 지식을 바탕으로 모델을 세우고, 변분 추론이나 마르코프 연쇄 몬테카를로 같은 일반적인 기법으로 학습·추론하고, 남겨둔 데이터로 결과를 비평한 뒤, 만족스럽지 않으면 변수를 더하거나 연결 구조를 고쳐 처음으로 돌아간다. 만족할 때까지 이 고리를 도는 것이 확률적 모델링의 작업 방식이다.

두 번째 예시는 문서 집합에서 주제를 찾아내는 토픽 모델링과 LDA다. 유전학·생물학·컴퓨터 관련 단어가 섞인 논문에서, 우리는 주제 목록도, 문서별 주제 비율도, 각 단어가 어느 주제에서 왔는지도 모른다. LDA는 이 모든 것을 잠재변수로 두고 '주제별 단어 분포를 뽑고, 문서별 주제 비율을 뽑고, 단어마다 주제를 골라 단어를 뽑았다'는 생성 이야기를 정의한 뒤, 변분 추론이나 MCMC로 그 값들을 역추적한다. 강연자는 2003년경 데이비드 블레이가 제안한 이 모델을 머신러닝에서 가장 유명한 확률 모델 중 하나로 소개한다.

강의 후반부는 고전 확률 모델과 심층 생성모델을 섞는 방법으로 넘어간다. 별 모양으로 휘어진 다섯 갈래 데이터에 가우시안 혼합모델을 씌우면 곡선을 못 잡고, VAE만 쓰면 밀도가 별 바깥으로 번진다. 대신 다섯 개의 성분이라는 구조는 혼합모델로 정하고 각 성분의 모양은 VAE로 학습시키면 데이터에 잘 들어맞는다. 쥐의 행동을 담은 영상 프레임 역시, 프레임 표현은 VAE로 뽑고 그 잠재 상태의 시간적 변화는 선형 동역학 모델과 이산 상태로 묶어 '뛰기 시작하는 구간' 같은 해석 가능한 변수를 얻는다.

추론 쪽에서도 신경망이 개입한다. 과거에는 EM이나 평균장 변분 추론처럼 모델 구조를 손으로 뜯어 사후분포 갱신식을 유도해야 했고, 사전분포를 조금만 복잡하게 해도 수식 유도가 열 쪽 분량으로 불어났다. 블랙박스 변분 추론은 근사 사후분포를 그냥 신경망으로 두고 REINFORCE 같은 추정기로 최적화해 이 과정을 건너뛴다. 확률밀도를 아예 적을 수 없는 로트카-볼테라 방정식 같은 암묵적 모델에서도, GAN의 판별자가 두 분포의 로그 비율을 학습한다는 성질을 이용해 ELBO를 최적화할 수 있다.

마지막 주제는 확률적 프로그래밍이다. Stan, Edward, Pyro 같은 언어는 확률 분포를 일급 요소로 다루고, 반복문과 논리를 포함한 일반적인 코드로 생성 과정을 기술한 뒤 추론을 자동화한다. 강연자는 LDA를 Edward로 구현한 예를 보이며, 이 비전이 실현되면 머신러닝 경험이 많지 않은 분석가나 과학자도 데이터가 만들어지는 이야기만 적어 복잡한 문제를 원리적으로 풀 수 있게 된다고 정리한다.

주요 인사이트

• 블랙박스 모델과 구조화된 확률 모델의 선택은 성능 경쟁이 아니라 '내가 가진 사전 지식을 모델에 넣을 것인가'라는 설계 판단의 문제다.
• 확률적 추론은 표현·추론·학습이라는 세 문제로 분해되며, 이 분해 자체가 문제를 체계적으로 다루게 해주는 장치다.
• 정형 구조와 비정형 데이터가 섞인 문제에서는, 구조 부분은 고전 확률 모델이, 이미지·영상 같은 비정형 부분은 신경망이 맡는 분업이 잘 통한다.
• 신경망의 기여는 모델 표현력에만 있지 않다. 수식 유도가 필요했던 추론 절차를 범용 최적화로 대체해, 예전에는 다루기 어려웠던 모델까지 학습 대상으로 끌어들인다.
• GAN의 판별자가 학습하는 것이 두 분포의 로그 비율이라는 사실은, 확률밀도를 적을 수 없는 과학 모델의 모수 추정에까지 확장해 쓸 수 있다.

자주 묻는 질문

관련 AI 소식