확산 모델 가속의 핵심 3가지: 양자화·캐싱·스텝 증류로 실시간 영상 생성에 다가가기

핵심 메시지

• 확산 모델은 보통 20~50회의 디노이징 단계를 거치기 때문에 지연 시간이 길고, 이를 줄이는 것이 실시간 생성의 핵심 과제다.
• LLM에서 검증된 최적화 개념을 확산 모델로 옮겨와 양자화·캐싱·스텝 증류 세 단계로 접근한다.
• 스텝 증류는 모델 크기는 그대로 두고 단계 수만 50단계에서 4~8단계, 때로는 1단계로 줄여 최대 수백 배의 성능 향상을 노린다.
• 세 기법은 모두 점진적으로 쌓을 수 있어 양자화부터 시작해 필요에 따라 캐싱과 증류를 더하면 된다.
• GTC 시연에서는 단일 블랙웰 B200 GPU로 사실상 실시간 영상 생성에 도달했다.

쉽게 이해하기

확산 모델은 자기회귀 방식의 LLM과 달리 노이즈를 점진적으로 제거(디노이징)하며 이미지나 영상을 만든다. 보통 20~50회의 반복이 필요해 첫 결과가 나오기까지, 그리고 1080p·720p 같은 고화질을 얻기까지 시간이 오래 걸린다. 발표자는 실시간 이미지·영상 생성을 '성배'에 비유하며, 로보틱스 월드 모델·게임·콘텐츠 제작 등 새로운 활용처를 연다고 말한다.

첫 번째 기법은 양자화다. 사후학습 양자화(PTQ)와 양자화 인식 학습(QAT)이 있는데, 확산 모델은 어텐션 비중이 커서 LLM만큼 효과가 크진 않지만 블랙웰 같은 최신 연산 자원에서는 여전히 손쉬운 성능 개선책이다. 엔비디아는 Black Forest Labs의 Flux 2 작업에서 동적 양자화를 사용했고, 허깅페이스에 사전 양자화된 체크포인트를 올려 바로 쓸 수 있게 했다. 양자화는 메모리를 줄여 더 낮은 사양의 GPU에서도 실행할 수 있게 해준다.

두 번째는 캐싱이다. LLM의 KV 캐시 개념은 토큰을 하나씩 생성하지 않는 확산 모델에 그대로 적용되지 않는다. 대신 디노이징 단계 사이에 거의 변하지 않는 영역을 다시 계산하지 않는 방식(예: TeaCache)을 쓰며, 더 현대적인 기법은 변화가 있는 부분만 청크 단위로 다시 계산한다. 임계값으로 조절하지만, 잘못 적용하면 화질을 크게 떨어뜨릴 수 있어 속도와 품질을 함께 점검해야 한다.

세 번째이자 가장 효과가 큰 기법은 증류다. 확산 모델의 증류는 모델을 작게 만드는 것이 아니라(파라미터 수는 그대로다) 학생 모델이 더 적은 단계로 교사 모델과 같은 품질을 내도록 학습시키는 '스텝 증류'다. 50단계를 4~8단계, 때로는 1단계로 줄이면 최대 10배~200배의 성능 향상을 얻을 수 있다. 궤적 기반과 분포 기반 두 방식이 있으며 최근에는 분포 기반이 더 흔하고 품질도 낫다. 엔비디아의 오픈소스 FastGen은 수십억 파라미터급 대형 영상 모델의 사후학습과 GPU 분산을 구조화해준다.

발표자는 이 기법들이 모두 점진적이라는 점을 강조한다. 가장 간단한 양자화부터 시작해, 충분하지 않으면 멀티 GPU·컨텍스트 병렬화와 캐싱을 더하고, 마지막으로 가장 효과가 큰 증류로 나아가면 된다. 관련 자원은 모두 오픈소스로 공개돼 있고 Wan·Flux 2·LTX 2 등 오픈 모델을 지원한다.

주요 인사이트

• 확산 모델은 어텐션 비중이 커서 LLM만큼 양자화 효과가 크진 않지만, 블랙웰 같은 최신 하드웨어에서는 여전히 손쉬운 성능 개선책이다.
• 캐싱은 잘못 적용하면 화질을 크게 떨어뜨릴 수 있어, 속도 향상과 품질 유지를 반드시 함께 점검해야 한다.
• 증류는 사전학습만큼의 대규모 연산이 필요 없어 H100·H200급 GPU로도 가능하지만, 사후학습이라 데이터와 평가 체계가 중요하다.
• 실시간 영상 생성은 로보틱스 월드 모델, 게임, 콘텐츠 제작 등 완전히 새로운 활용처를 연다.

자주 묻는 질문

관련 AI 소식