스코어 함수와 스코어 매칭 — MIT 6.S184 강의로 본 확산 모델의 핵심 원리

핵심 메시지

• 스코어 함수는 확률분포의 로그 가능도를 입력에 대해 미분한 값으로, '어느 방향으로 가면 그럴듯한 데이터에 가까워지는가'를 가리키는 벡터장이다.
• 가우시안 확률 경로에서는 플로우 매칭이 배우는 벡터장과 스코어 함수가 서로 계수만 바꾼 재매개변수화 관계라, 하나의 신경망만 학습해도 둘 다 얻을 수 있다.
• 디노이징 스코어 매칭은 '데이터에 어떤 노이즈가 더해졌는지'를 맞히는 회귀 문제로 바뀌며, 이 손실 함수는 확산 모델보다 먼저 등장한 오래된 아이디어다.
• 이미 학습을 마친 모델에 확산 계수를 자유롭게 정하고 스코어 항을 더하면, 추가 학습 없이 결정론적 샘플링을 확률미분방정식 샘플링으로 확장할 수 있다.
• 이론상 모든 확산 계수가 같은 확률 경로를 따르지만 학습 오차와 이산화 오차 때문에 실제 성능은 달라지므로, 어떤 값이 좋은지는 실험으로 찾아야 한다.

쉽게 이해하기

생성 AI 강의에서 다루는 '스코어(score)'는 이름과 달리 점수를 매기는 장치가 아니다. 어떤 확률분포의 로그 가능도를 입력값으로 미분한 것으로, 각 지점에서 로그 가능도가 가장 빠르게 커지는 방향을 알려주는 화살표 다발이라고 보면 된다. 이 개념 자체는 머신러닝과 무관하게 정의되지만, 노이즈에서 데이터로 이동하는 생성 모델에 적용하면 이야기가 달라진다.

강의는 앞선 회차에서 배운 조건부 확률 경로와 주변(marginal) 벡터장을 스코어 함수의 언어로 다시 쓴다. 주변 스코어는 조건부 스코어를 '노이즈가 주어졌을 때 원본 데이터의 사후분포'로 적분한 값이며, 증명은 로그의 미분이 함수 자신으로 나눈 미분이라는 성질과 적분·미분 순서 교환만으로 끝난다. 가우시안 확률 경로에서는 조건부 벡터장도 스코어도 모두 '노이즈와 데이터의 가중합' 형태라, 두 대상은 계수만 다른 같은 물건이 된다.

그래서 확산 모델의 초창기 연구가 벡터장 대신 스코어만 이야기했던 이유도 설명된다. 학습 방법인 스코어 매칭은 확산 모델보다 10년 이상 앞서 존재했고, 이를 실제로 계산 가능하게 만든 디노이징 스코어 매칭은 디노이징 오토인코더 연구 흐름에서 나왔다. 결과적으로 학습 알고리즘은 '더해진 노이즈를 예측하도록 회귀시키는' 형태가 되는데, 이것이 초기 확산 모델이 실제로 쓰던 손실 함수다.

강의의 핵심 결과는 여기서 나온다. 학습된 결정론적 흐름에 원하는 만큼 노이즈를 주입해 확률미분방정식으로 만들되, 스코어 함수에 확산 계수의 제곱을 곱한 항을 벡터장에 더해주면 확률 경로가 그대로 유지된다. 노이즈는 방향 없이 사방으로 퍼뜨리기만 하므로, 스코어 항이 그만큼 데이터가 몰려 있는 쪽으로 되밀어 균형을 맞추는 셈이다. 증명은 연속 방정식을 포커-플랑크 방정식과 맞춰 보이는 방식으로 진행된다.

실용적으로 이 결과는 '학습 한 번으로 모델 한 무리를 얻는' 효과를 준다. 확산 계수를 어떻게 잡든 이론상 같은 분포를 따르므로, 재학습 없이 여러 샘플러를 시도해 보고 가장 좋은 것을 고르면 된다. 다만 강연자는 결정론적 샘플링만으로도 상당히 좋은 결과가 나오는 경우가 많다며, 확률적 샘플링은 필수가 아니라 선택지로 이해하라고 덧붙인다.

주요 인사이트

• 이론이 여러 선택지를 모두 동등하다고 말할 때가 오히려 실험의 시작점이다. 확산 계수를 무엇으로 두든 같은 확률 경로를 따른다는 정리는, 뒤집어 보면 '이론이 더 이상 우열을 가려 주지 않으니 직접 비교해 보라'는 뜻이 된다.
• 학습 오차와 시뮬레이션(이산화) 오차라는 두 종류의 오차가 이론과 실제를 갈라놓는다. 신경망이 스코어를 완벽히 배우지 못하고 미분방정식을 유한 단계로 쪼개 풀기 때문에, 수식상 동일한 모델들이 실제로는 다른 품질을 낸다.
• 생성 모델의 수식은 다른 분야와 이어져 있다. 강연자는 주변 벡터장을 0으로 두면 랑주뱅 동역학이 볼츠만 분포를 평형 분포로 보존한다는 사실이 그대로 따라 나온다고 짚는데, 이는 분자동역학 시뮬레이션의 토대와 같은 구조다.
• 이름이 다르다고 다른 기법인 것은 아니다. 논문마다 벡터장으로 쓰기도 하고 스코어로 쓰기도 하지만, 가우시안 확률 경로에서는 신경망 하나를 호출해 서로 변환할 수 있는 같은 대상이다.

자주 묻는 질문

관련 AI 소식