Classifier-free guidance 원리 정리, MIT 플로우 매칭 강의로 본 이미지 생성 AI

핵심 메시지

• '이미지를 생성하라'에서 '개가 케이크를 굽는 이미지를 생성하라'로 넘어가는 데 필요한 이론적 변화는 생각보다 작다. 데이터로더가 이미지와 레이블 쌍을 함께 내보내면 기존 학습 목적함수를 거의 그대로 쓸 수 있다.
• 이론적으로 올바른 조건부 샘플링을 그대로 쓰는 실무자는 드물다. 대신 조건 신호를 인위적으로 증폭하는 classifier-free guidance를 쓴다.
• classifier-free guidance는 '조건 없는 벡터장'과 '조건 있는 벡터장'의 가중 평균으로 표현되며, 학습 시 일정 확률로 조건을 빈 값으로 가려 하나의 모델이 두 역할을 모두 배우게 한다.
• 가이던스 강도를 1에서 3, 5로 올리면 결과물이 눈에 띄게 깔끔해지지만 다양성은 줄어든다. 이는 이론적 정확성을 포기하고 지각적 품질을 얻는 거래다.
• 실제 모델은 다층 퍼셉트론으로는 감당이 안 되며, 합성곱 기반 U-Net이나 어텐션 기반 디퓨전 트랜스포머를 쓰고 대부분 사전학습된 오토인코더의 잠재공간에서 학습한다.

쉽게 이해하기

MIT 6.S184는 확률미분방정식으로 생성 AI를 다루는 강의로, 이 4강은 지금까지 쌓아 온 플로우 매칭·디퓨전 이론을 실제 이미지 생성으로 연결하는 회차다. 강의자는 조건 없는 생성에서 조건부 생성으로 넘어가는 과정, classifier-free guidance, 그리고 실제 모델 아키텍처를 차례로 다룬다.

먼저 용어를 정리한다. 지금까지 다뤄 온 '조건부(conditional)'라는 말이 이미 다른 의미로 쓰이고 있어, 프롬프트나 레이블에 맞춰 생성하는 것은 '가이드(guided) 생성'으로 부른다. 핵심 관찰은 단순하다. 프롬프트 y를 하나로 고정하면 문제는 기존의 조건 없는 생성과 똑같아지고, 이제 y를 데이터 분포에서 이미지와 함께 뽑기만 하면 모든 y에 대해 한 번에 학습된다. 구현 관점에서는 데이터로더가 이미지와 캡션 쌍을 반환하는 것으로 끝난다.

그런데 실무에서는 이렇게 학습한 모델을 이론 그대로 샘플링하지 않는다. 강의자는 가우시안 경로에서 벡터장과 스코어 함수의 관계식에 베이즈 정리를 대입해, 가이드된 벡터장이 '조건 없는 벡터장 + 분류기 역할을 하는 항'으로 분해됨을 칠판에서 유도한다. 이 분류기 항에 1보다 큰 가이던스 강도 w를 곱해 조건 신호를 증폭한 것이 classifier guidance이고, 여기에 베이즈 정리를 한 번 더 적용하면 분류기 항이 사라지면서 (1-w)×조건 없는 벡터장 + w×조건 있는 벡터장이라는 가중 평균만 남는다. 이것이 classifier-free guidance이며, 학습 중 일정 확률로 프롬프트를 빈 값(널 토큰)으로 가려 주면 하나의 모델이 두 벡터장을 모두 표현하게 된다.

왜 이론적 정확성을 포기하면서까지 이 방법을 쓰느냐는 질문에 강의자는 결과 이미지로 답한다. 가이던스 강도가 1일 때는 손글씨 숫자가 어정쩡하게 나오지만 3, 5로 올리면 훨씬 또렷해진다. 원 논문의 코기 이미지 예시도 마찬가지다. 직관적 설명은 낮은 온도 샘플링의 거친 근사, 즉 분포의 꼬리 대신 밀도가 높은 영역에서만 뽑는 효과라는 것이며, 왜 잘 되는지는 여전히 열린 연구 주제라고 덧붙인다.

마지막으로 아키텍처를 다룬다. 이미지는 채널×높이×너비의 고차원 공간에 있어 다층 퍼셉트론으로는 감당이 안 된다. 대안은 두 가지다. U-Net은 인코더로 채널을 늘리고 픽셀을 줄였다가 디코더로 되돌리며 잔차 연결로 정보를 우회시키고, 시간 t는 사인파 임베딩으로, 레이블 y는 임베딩 후 채널별 덧셈으로 주입한다. 디퓨전 트랜스포머는 이미지를 패치로 쪼개 임베딩한 뒤 패치들 사이에 어텐션을 적용한다. 여기에 더해 대부분의 최신 모델은 사전학습된 오토인코더의 잠재공간에서 학습해, 생성 모델이 지각적으로 중요한 특징에만 집중하도록 만든다.

주요 인사이트

• 조건부 생성으로의 확장에서 어려운 부분은 이미 조건부 플로우 매칭 목적함수를 만들 때 끝났다. 프롬프트로 확장하는 일은 상대적으로 쉬운 축이다.
• classifier-free guidance는 이론적으로 '틀린' 벡터장을 시뮬레이션한다. 가이던스 강도 1이 유일하게 이론적으로 정당한 값이지만 실제 품질은 그 지점에서 최선이 아니다.
• 가이던스 강도를 올리는 것은 GAN에서 초기 샘플을 절단하던 기법과 비슷하게, 분포의 꼬리를 피하는 거친 방식으로 해석된다.
• 스테이블 디퓨전 3은 강의에서 배운 것과 사실상 같은 조건부 플로우 매칭 목적함수를 쓴다. 차이는 목적함수가 아니라, CLIP과 T5 계열 언어모델 임베딩을 함께 넣고 이를 다중모달 디퓨전 트랜스포머 블록으로 처리하는 신경망의 복잡도에 있다.
• 게스트 강연(마이크로소프트 리서치 뉴잉글랜드의 카를레스 도밍고-엔리크)은 보상 기반 파인튜닝을 확률적 최적제어 문제로 다룬다. 핵심은 노이즈 스케줄을 아무렇게나 고르면 목표 분포에 도달하지 못하고, 사전학습 파라미터로 결정되는 '메모리리스' 스케줄을 써야 한다는 것이다.

자주 묻는 질문

관련 AI 소식