스코어 기반 생성모델 강의 정리: 분할함수 없이 학습하는 방법과 랑주뱅 동역학, 확산모델의 토대

핵심 메시지

• 스코어 함수는 확률의 로그를 파라미터가 아닌 입력 x로 미분한 값으로, 확률이 높아지는 방향을 가리키는 벡터장이다.
• 분할함수는 x의 함수가 아니므로 미분하면 사라진다. 그래서 스코어 함수를 직접 배우면 에너지 기반 모델의 가장 큰 걸림돌을 우회할 수 있다.
• 이상적인 목표인 피셔 발산은 참 스코어를 모르기 때문에 쓸 수 없고, 부분적분을 이용한 변형으로 계산 가능한 스코어 매칭 목적함수를 얻는다.
• 그 목적함수도 야코비 대각합 때문에 차원 수에 비례해 비용이 커지므로, 무작위 방향으로 투영하는 슬라이스 스코어 매칭이나 노이즈를 더한 디노이징 스코어 매칭을 쓴다.
• 학습된 스코어를 따라 잡음에서 출발해 랑주뱅 동역학으로 표본을 뽑으며, 다양체 가설 때문에 생기는 사각지대는 여러 노이즈 수준을 함께 학습하는 방식으로 메운다.

쉽게 이해하기

강의는 지금까지 다룬 생성모델 계열을 되짚으며 시작한다. 자기회귀 모델과 잠재변수 모델, 흐름 모델은 최대가능도로 학습하지만 각각 가능도 근사나 가역성·야코비 제약을 감당해야 했다. GAN은 어떤 생성기든 쓸 수 있는 대신 판별기와 동시에 최적화하느라 학습이 불안정하고, 직전 강의의 에너지 기반 모델은 신경망 선택이 자유롭지만 MCMC 때문에 학습이 느렸다. 이번 강의의 질문은 유연성은 지키면서 그 느린 비용을 피할 수 있는지다.

출발점은 스타인 스코어 함수다. 로그 밀도를 입력 x로 미분한 값이므로, 파라미터 공간이 아니라 데이터 공간에서 확률이 높아지는 방향을 알려주는 화살표 다발이 된다. 강의는 두 개의 봉우리를 가진 2차원 분포와 그 1차원 대응 예시로 이 벡터장을 보여준다. 결정적인 성질은 에너지 기반 모델의 분할함수가 x에 의존하지 않는다는 점이다. 로그를 미분하면 그 항이 0이 되어 스코어 함수는 에너지의 기울기만 남는다.

다음 문제는 이 벡터장을 어떻게 배우느냐다. 자연스러운 기준은 두 벡터장 차이의 L2 노름을 데이터 분포 위에서 평균한 피셔 발산이지만, 참 데이터 분포의 스코어를 모르기 때문에 그대로 쓸 수 없다. 2005년에 제안된 스코어 매칭은 변수 변환과 부분적분으로 이 식을 다시 써서, 적분 안에서 참 스코어를 없애고 데이터 표본 평균만으로 계산되는 형태로 바꾼다. 이때 모델은 가역성 같은 제약이 없어 어떤 신경망이든 쓸 수 있다.

그런데 이 목적함수에는 스코어 함수의 야코비 대각합이 들어 있어, 차원 수만큼 역전파를 반복하는 셈이 되어 큰 신경망에는 너무 느리다. 첫 번째 해법은 슬라이싱이다. 무작위 벡터 v로 모든 것을 1차원으로 투영해 그 방향에서만 화살표를 맞추면 되고, 실전에서는 v를 다변량 표준정규나 ±1 잡음에서 뽑는다. 두 번째 해법은 디노이징 스코어 매칭으로, 가우시안 잡음을 더한 데이터의 스코어를 배우면 조건부 항이 잔차 잡음이라는 간단한 식으로 주어져 더 빠르다. 대신 노이즈 크기를 0에 가깝게 줄이면 기울기 추정의 분산이 커진다.

표본 생성은 랑주뱅 동역학으로 한다. 무작위 점에서 시작해 스코어 방향으로 조금씩 이동하면서 잡음을 섞는 절차로, 사실상 로그 확률에 대한 경사 상승에 잡음을 더한 형태다. 다만 이미지 같은 고차원 데이터는 다양체 가설처럼 좁은 부분공간에만 놓여 있어, 데이터가 없는 영역에서는 참 스코어가 정의되지 않는다. 그래서 여러 노이즈 수준을 조건으로 받는 하나의 신경망을 학습하고, 표본을 뽑을 때 큰 잡음에서 작은 잡음으로 옮겨가는 담금질 랑주뱅 동역학을 쓴다. 결과는 GAN에 필적하는 품질이지만 수천 단계를 밟아야 해 표본 생성이 느리고, 밀도 추정이나 잠재변수 문제는 그대로 남는다.

주요 인사이트

• 스코어 함수의 미분 대상이 파라미터가 아니라 입력이라는 점을 놓치면 강의 전체가 헷갈린다. 경사하강의 기울기는 파라미터 공간을, 스코어는 데이터 공간을 가리킨다.
• 분할함수가 사라지는 것은 트릭이 아니라 정의에서 따라오는 결과다. 분할함수는 파라미터의 함수일 뿐 x의 함수가 아니어서 x에 대한 미분이 0이 된다.
• 슬라이싱은 스코어 매칭에만 쓰이는 기법이 아니라 무작위 투영으로 고차원 계산을 낮추는 일반적 도구이며, 강의는 투영 벡터를 원-핫으로 쓰면 분산이 커져 불리하다고 짚는다.
• 디노이징 스코어 매칭이 배우는 것은 깨끗한 데이터의 스코어가 아니라 잡음이 섞인 분포의 스코어다. 이 구분이 다중 노이즈 학습과 담금질 표본 생성이 필요한 이유로 이어진다.
• 다양체 가설은 추상적인 이야기가 아니다. 784차원 손글씨 숫자를 600차원으로 투영해도 화질이 거의 그대로라는 예처럼, 데이터가 실제로 훨씬 낮은 차원에 놓여 있어 나머지 영역에서 스코어가 정의되지 않는다.

자주 묻는 질문

관련 AI 소식