스탠퍼드 CS229 강의: 확산 모델 학습 원리와 파운데이션 모델 적응법(선형 프로빙·파인튜닝·LoRA)

핵심 메시지

• 확산 모델의 학습 목표는 겉보기와 달리 복잡하지 않다. 정방향 잡음 과정이 이미 알려져 있으므로, 신경망이 맞혀야 할 것은 '내가 그때 더한 노이즈가 무엇이었나' 하나로 정리된다.
• 확산 모델이 잘 작동하는 이유로 강의가 꼽은 것은 이론적 우월성이 아니라 학습의 난이도다. 시간 축을 수천 단계로 길게 늘여 매 단계가 아주 조금만 잡음을 걷어내면 되도록 만든 것이 핵심이다.
• 파운데이션 모델은 대규모 비라벨 데이터로 사전학습한 뒤 여러 과제에 적응시키는 2단계 구조다. GPT-3 이후 적응 단계는 소량 라벨(few-shot)에서 라벨을 아예 모으지 않는 제로샷으로 옮겨갔다.
• 표현을 고정하고 선형 분류기만 얹는 선형 프로빙, 전체를 다시 학습하는 파인튜닝, 그리고 둘을 순서대로 잇는 LP-FT가 있다. 같은 손실 함수라도 초기값이 다르면 도달하는 최적점의 시험 성능이 달라진다.
• LoRA의 이득은 흔히 알려진 계산량 절감이 아니다. 강의는 여러 사용자가 거대한 원본 가중치를 공유하고 각자 작은 어댑터만 갖게 해 주는 서빙 구조가 진짜 이유라고 짚었다.

쉽게 이해하기

스탠퍼드 온라인이 공개한 CS229 머신러닝 2026년 봄학기 12강은 확산 모델(diffusion model) 논의를 마무리하고 파운데이션 모델로 넘어가는 전환점에 놓인 강의다. 강의자는 앞으로 GPT 이전의 기술, 자기회귀 언어모델 학습, 사후학습(post-training) 강화학습까지 네다섯 개 강의를 이어갈 계획이라고 밝혔다. 중간에는 강화학습 기초와 로보틱스 응용, 그리고 GPU를 어떻게 쓸 것인지를 다루는 시스템 관점의 초청 강의도 예고했다.

확산 모델 파트의 결론은 손실 함수의 단순화다. 정방향은 깨끗한 이미지에 잡음을 차례로 더해 결국 표준정규분포에 이르는 고정된 과정이고, 역방향만 신경망으로 학습한다. 로그 가능도의 하한을 전개하면 여러 개의 KL 항이 나오는데, 두 분포 모두 가우시안이고 분산을 같게 잡았기 때문에 KL 비교는 결국 평균값 비교로 줄어든다. 단계 수가 무한대로 가면 맨 끝 항은 두 분포가 모두 표준정규가 되어 0으로 수렴하고, 첫 항도 마르코프 성질을 쓰면 나머지 항과 같은 형태가 된다.

여기서 한 번 더 정리가 들어간다. 역방향 평균을 예측할 때 입력 x_t는 이미 알고 있는 값이므로, 아는 부분은 수식에 그대로 박아두고 모르는 부분만 신경망에 맡기도록 다시 매개변수화한다. 그러면 두 평균의 차이에서 알려진 항이 모두 상쇄되고, 남는 것은 '더했던 노이즈'와 '신경망이 예측한 노이즈'의 차이뿐이다. 실무에서는 앞에 붙는 계수들마저 떼어내고 이 제곱 오차만 최소화한다. 학습 절차는 데이터에서 x_0를 뽑고, 시점 t를 균등하게 뽑고, 정규분포에서 노이즈를 뽑아 x_t를 만든 뒤 신경망에 통과시켜 역전파하는 것이 전부다.

후반부는 파운데이션 모델이다. 강의자는 이 용어가 4~5년 전 스탠퍼드 연구진의 서베이 논문에서 나왔다고 회고했다. 2020년 여름 GPT-3가 등장했을 때 여러 교수가 한 방에 모여 텍스트 상자 하나뿐인 OpenAI 플레이그라운드를 만져 보며 흥분했고, 퍼시 리앙이 팀을 이끌어 이 새로운 흐름을 정리했다는 것이다. 당시 논문 초록은 이를 '떠오르는 패러다임'이라 불렀지만, 강의자는 3년이 지난 지금은 그냥 '새로운 패러다임'이라고 불러야 한다고 말했다.

적응 단계의 기법으로는 세 가지가 소개됐다. 표현 학습으로 얻은 특징 벡터를 고정한 채 선형 분류기만 학습하는 선형 프로빙, 표현까지 함께 갱신하는 파인튜닝, 그리고 선형 프로빙으로 얻은 가중치를 초기값 삼아 전체를 파인튜닝하는 LP-FT다. 마지막으로 다룬 LoRA는 가중치 행렬 W를 W+AB로 바꾸고 저랭크 부분만 학습하는 방식인데, 강의자는 이것이 계산량이나 메모리를 획기적으로 줄여주지는 않는다고 선을 그었다.

주요 인사이트

• 확산 모델의 강점을 강의는 '분해'로 설명한다. 신경망은 원리적으로 무엇이든 표현할 수 있지만 어떻게 표현하고 어떻게 학습시키느냐가 여전히 중요하며, 큰 생성 문제를 아주 작은 단계 수천 개로 쪼갠 것이 효율적 학습으로 이어졌다는 것이다. 양쪽 방향을 모두 학습하지 않아도 된다는 점도 최적화를 크게 단순하게 만든다.
• 같은 손실 함수를 최소화해도 초기값에 따라 결과가 달라진다는 관찰은 그 자체로 시사점이 있다. 강의자는 이것이 이 손실 함수에 수많은 전역 최소점이 존재한다는 증거라고 말한다. 데이터가 적으면 학습 손실은 어느 쪽이든 거의 0이 되지만 시험 성능은 크게 갈리고, 좋은 최소점을 찾으려면 좋은 출발점, 즉 사전학습된 모델에서 시작해야 한다.
• LP-FT가 잘 작동하는 이유에 대해 강의자는 확실한 설명이 없다고 인정하면서도, 무작위로 초기화한 선형 분류기가 파인튜닝 초반에 애써 학습한 표현을 망가뜨릴 수 있다는 직관을 제시했다. 먼저 선형 분류기를 표현에 맞춰 놓으면 이후 표현의 변화 폭이 작아진다는 것이다.
• LoRA의 비용 구조는 생각보다 냉정하다. 순전파에서는 여전히 원본 가중치를 곱해야 하고 역전파에서도 활성값에 대한 미분에서는 아무것도 절약되지 않는다. 메모리 역시 얼어붙은 원본 가중치는 그대로 올려두어야 하며, 절약되는 옵티마이저 상태와 그래디언트는 여러 GPU에 이미 샤딩되어 있어 늘 병목인 것도 아니다.
• 대신 LoRA가 결정적으로 유리한 지점은 다중 사용자 서빙이다. 모든 사용자가 거대한 원본 가중치를 공유하고 각자는 작은 저랭크 어댑터만 가지므로, 어댑터 수백 개를 GPU에 미리 올려두고 요청에 따라 빠르게 바꿔 끼울 수 있다. 강의자는 주요 상용 API의 파인튜닝 서비스가 LoRA만 제공하는 이유가 여기에 있다고 봤다.

자주 묻는 질문

관련 AI 소식