자기회귀 생성 모델 입문: 코넬대 CS 6785 강의로 보는 체인 룰, NADE, WaveNet의 원리

핵심 메시지

• 자기회귀 생성 모델은 확률의 체인 룰로 분해한 각 조건부 항을 신경망으로 근사한 것이며, 결국 '이전 값으로 다음 값을 맞히는' 문제로 환원된다.
• 표로 확률을 저장하면 변수 개수에 지수적인 파라미터가 필요하지만, 각 항을 로지스틱 회귀나 다층 퍼셉트론으로 바꾸면 다항 수준으로 줄어든다.
• 자기회귀 모델은 미래에서 과거로 향하는 연결을 지운 오토인코더로 볼 수 있고, 실제 구현은 가중치를 0으로 고정하는 마스킹으로 이뤄진다.
• RNN은 가변 길이 시퀀스를 다룰 수 있지만 학습과 생성 모두 순차적이라 느리고, WaveNet은 인과 합성곱과 팽창 합성곱으로 이 문제를 우회했다.

쉽게 이해하기

코넬대 CS 6785 딥 제너레이티브 모델 강의의 세 번째 시간은 생성 모델 가족 중 첫 번째인 자기회귀 모델을 다룬다. 강의는 생성 모델링을 세 단계로 정리한다. 모델 가족(확률분포의 매개변수화)을 정하고, 데이터 분포와의 거리를 재는 목적함수를 정하고, 그 안에서 최적의 분포를 찾는 최적화 방법을 정하는 순서다. 이번 강의는 그중 첫 단계, 즉 고차원 데이터의 확률분포를 어떻게 표현할 것인가에 집중한다.

출발점은 확률의 체인 룰이다. 어떤 결합분포든 조건부 확률의 곱으로 정확히 분해할 수 있다는 점에서 손실이 없지만, 각 항을 표로 저장하면 변수 수에 지수적인 파라미터가 필요해진다. 강의에서 예로 든 이진화 MNIST는 28×28, 즉 784개의 이진 변수를 다루므로 표 방식은 애초에 불가능하다. 조건부 독립을 가정해 항을 줄이는 고전적 방법도 있지만, 이 강의가 택하는 길은 각 조건부 항 자체를 신경망으로 매개변수화하는 것이다.

가장 단순한 형태는 각 픽셀마다 로지스틱 회귀를 하나씩 두는 모델이다. i번째 픽셀의 예측값은 0과 1 사이의 스칼라로, 그 픽셀에 대한 베르누이 분포의 파라미터이자 곧 예측 자체로 읽히며, 이 구조만으로도 첫 픽셀부터 차례로 뽑아 이미지를 생성하거나 반대로 이미지의 확률을 계산할 수 있다. 로지스틱 회귀를 다층 퍼셉트론으로 바꾸면 표현력은 올라가지만 조건부마다 행렬이 하나씩 생겨 파라미터가 급증하는데, 큰 행렬 W 하나를 두고 i번째 은닉층은 앞쪽 i개 열만 잘라 쓰는 가중치 공유로 이를 정리한다. 2011년 모델인 NADE가 바로 이 방식을 쓴다.

강의가 강조하는 관점 하나는 자기회귀 모델을 오토인코더의 변형으로 보는 것이다. 보통의 오토인코더는 출력의 모든 변수가 입력의 모든 변수에 의존하므로 유효한 확률분포가 되지 못한다. 미래에서 오는 간선을 지우면, 즉 해당 가중치를 0으로 고정하면 각 출력이 앞선 변수들만 보게 되어 체인 룰의 항으로 쓸 수 있다. 사실상 이후에 나오는 정교한 모델들도 대부분 이 '마스킹된 오토인코더'의 사례다.

마지막 부분은 더 실용적인 모델로 넘어간다. RNN은 과거 전체를 요약한 은닉 상태를 유지해 길이가 제각각인 시퀀스에도 쓸 수 있지만, 기울기 소실·폭발 문제가 있고 학습과 생성 모두 한 스텝씩 순차적으로 돌려야 해 느리다. 2016년의 WaveNet은 미래를 보지 않도록 필터 일부를 0으로 고정한 인과 합성곱과, 파라미터를 늘리지 않고 수용 영역만 넓히는 팽창 합성곱을 쌓아 이 한계를 우회했고 같은 아이디어가 이미지용 PixelCNN으로 확장됐다.

주요 인사이트

• 자기회귀 모델의 정체는 화려한 생성 기법이 아니라 '다음 변수 예측'이라는 지도학습 문제다. 오늘날 언어 모델의 동작 원리를 이미지·오디오 사례로 풀어 보면 같은 골격이 드러난다.
• 표에서 신경망으로, 다시 가중치 공유로 넘어가는 흐름은 모두 차원의 저주에 대한 대응이다. 표현력을 얼마나 포기하고 파라미터를 얼마나 아낄지가 설계의 축이다.
• '미래를 보지 않게 만든다'는 제약이 마스킹이라는 구현으로 통일된다. 완전연결·합성곱 어느 쪽이든 특정 가중치를 0으로 고정하는 같은 트릭이 쓰인다.
• 자기회귀 모델은 표집과 밀도 추정이 모두 다루기 쉽다는 장점이 있다. 강의는 이후 배울 생성 모델 가족의 절반 이상은 밀도 추정이 어렵다는 점과 대비시킨다.
• 반면 표현 학습에는 약하다는 한계도 분명히 짚는다. 데이터의 구조를 압축된 표현으로 뽑아내는 일은 이후 다룰 잠재변수 모델의 몫으로 남는다.

자주 묻는 질문

관련 AI 소식