심층 생성 모델 입문 정리 — 코넬대 CS 6785 1강이 설명하는 판별 모델과의 차이

핵심 메시지

• 판별 모델은 복잡한 데이터를 입력으로 받아 라벨 같은 단순한 값을 내놓지만, 생성 모델은 반대로 복잡한 데이터 자체를 출력으로 만들어낸다.
• 게임 그래픽 엔진처럼 사람이 규칙을 손으로 적어 넣는 방식 대신, 생성 모델은 대량의 데이터에서 그 규칙을 학습한다.
• 강의에서 다루는 모든 생성 알고리즘은 모델 계열, 학습 목적 함수, 최적화 알고리즘이라는 동일한 세 부품으로 분해된다.
• 생성 모델의 쓸모는 이미지 생성에 그치지 않고 초해상도 같은 신호 처리, 표현 학습, 의사결정과 계획으로 이어진다.
• '내가 만들어낼 수 없다면 이해한 것이 아니다'라는 파인만의 말처럼, 생성 능력은 곧 대상에 대한 이해를 요구한다.

쉽게 이해하기

코넬대와 코넬텍에서 심층 생성 모델을 가르치는 볼로디미르 쿨레쇼프 교수는 첫 강의를 강의 제목을 한 단어씩 뜯어보는 것으로 시작한다. 가장 중요한 단어는 '생성'이며, 생성 모델의 정의적 특징은 아주 높은 차원의 대상을 다룬다는 점이다. 고해상도 이미지, 긴 토큰 열로 이루어진 텍스트와 코드, 초당 4만 개가 넘는 표본으로 기록되는 음성, 문자열이나 3차원 구조로 표현되는 화학 분자가 모두 여기에 해당한다.

생성 모델의 성격은 판별 모델과 비교할 때 가장 선명해진다. 오늘날 쓰이는 대부분의 머신러닝 알고리즘은 판별 모델로, 고차원 데이터를 고정된 입력으로 받아 분류 라벨이나 회귀값 같은 단순한 출력을 내놓는다. 생성 모델에서는 그 관계가 뒤집혀 복잡한 데이터가 출력 쪽에 놓인다. 이미지를 분류하는 것보다 이미지를 만들어내는 일이 훨씬 어렵지만, 그만큼 얻는 것도 많다는 것이 강의의 전제다.

강의는 생성의 두 접근을 규칙 기반과 학습 기반으로 나눈다. 게임의 그래픽 엔진은 빛이 유리나 물을 어떻게 통과하는지에 대한 물리 법칙을 엔지니어가 규칙으로 적어 넣은 시스템이다. 반면 이 강의에서 다루는 모델은 침실 이미지를 대량으로 보여주고 장면을 픽셀로 바꾸는 규칙 자체를 데이터에서 배우게 한다. 손으로 규칙을 적기 어려운 생물학, 언어, 음성 같은 영역까지 확장된다는 점이 학습 기반 접근의 이유로 제시된다.

쿨레쇼프 교수는 이 강의에 등장할 모든 알고리즘이 같은 세 부품으로 구성된다고 정리한다. 어떤 확률 분포를 다룰지 정하는 모델 계열, 그 분포가 데이터에 잘 맞는지 판정하는 학습 목적 함수, 그리고 목적 함수를 최적화하는 알고리즘이다. 목적 함수로는 최대우도 외에 이표본 검정이나 스코어 매칭이 소개되고, 최적화는 확률적 경사하강법부터 변분 추론과 마르코프 연쇄 몬테카를로까지 이어진다.

응용 사례를 훑는 대목에서 강의는 이미지 생성뿐 아니라 초해상도와 압축, 현미경 및 MRI 데이터 향상, 오디오 초해상도, 그리고 유전체 실험 데이터인 ChIP-seq 신호를 저품질에서 고품질로 복원한 자신의 연구까지 거론한다. 여기에 이미지를 의미 있는 벡터 공간에 심어 안경이나 미소 같은 속성 방향을 더하는 표현 학습, 행동의 결과를 미리 생성해 계획을 세우는 의사결정 응용이 더해진다.

주요 인사이트

• 생성 모델은 판별 모델이 하던 분류도 대체로 수행할 수 있다. 나이브 베이즈처럼 단순한 생성 모델에 베이즈 정리를 적용하면 그대로 분류기가 된다.
• 확률 분포를 신경망으로 매개화하는 이유는 표현력 때문이다. 스칼라 데이터라면 가우시안으로 충분하지만, 이미지처럼 복잡한 데이터에는 확률 질량을 정확한 위치에 몰아줄 수 있는 표현력 높은 분포가 필요하다.
• 표현 학습은 이미지 편집용 손잡이를 얻는 데 그치지 않는다. 암 종양의 유전체 데이터를 의미 있는 공간에 심고 군집을 살펴보면 비슷한 생물학적 기전을 공유하는 집단을 찾아내는 식의 발견이 가능해진다.
• 말과 얼룩말을 서로 바꾸는 이미지 변환은 짝지어진 학습 데이터 없이도 학습된다. 중국어-영어 번역과 달리 같은 자세의 말과 얼룩말 쌍이 존재하지 않는데도, 순환 일관성이라는 아이디어로 이를 우회한다.
• 다음 단어를 예측하도록 학습한 단순한 모델도 데이터와 계산을 크게 키우면 질문에 답하고 코드를 쓰는 정교한 행동이 나타난다. 생성이 일반 지능으로 가는 경로라는 주장의 실증적 근거로 제시된다.

자주 묻는 질문

관련 AI 소식