AI 영상 생성 원리 완벽 정리 — 확산 모델, 시공간 패치, 잠재 확산으로 이해하기

핵심 메시지

• 텍스트 생성 모델은 토큰을 하나씩 만드는 자기회귀 방식이지만, Imagen·VEO 같은 이미지·영상 모델은 무작위 노이즈를 점진적으로 다듬는 '확산(diffusion)' 방식을 쓴다.
• 확산은 이미지에 가우시안 노이즈를 계속 더하는 순방향 과정과, 신경망이 각 단계에서 더해진 노이즈를 예측해 제거하는 역방향 과정으로 이루어진다.
• 텍스트 설명을 함께 학습시키는 '조건부 확산'으로, 프롬프트의 단어와 이미지 특징을 연결해 원하는 영상을 유도한다.
• 영상은 이미지의 연속이라 두 가지 난제가 생긴다. 프레임 간 시간적 일관성 유지와 막대한 계산량이다.
• 시공간 패치와 비전 트랜스포머의 어텐션으로 일관성을 확보하고, 오토인코더로 잠재 공간에서 확산하는 '잠재 확산'으로 계산량을 줄인다.

쉽게 이해하기

AI 영상 생성 모델은 프롬프트를 입력하면 몇 초 만에 영상을 돌려줄 만큼 쓰기 쉽지만, 그 내부는 생각보다 정교하다. 영상은 생성형 AI의 한 갈래인데, 콘텐츠를 만드는 신경망 구조에는 여러 종류가 있다. 대부분의 최신 텍스트 생성 모델은 이전 토큰에 조건을 걸어 한 번에 하나씩 토큰을 만드는 '자기회귀' 방식이다. 반면 Imagen이나 VEO 같은 이미지·영상·오디오 모델은 픽셀을 하나씩 만들지 않고 '확산'이라는 다른 기법을 쓴다.

확산은 순방향과 역방향 두 단계로 나뉜다. 순방향 확산은 새의 이미지 같은 원본에 아주 작은 가우시안 노이즈를 조금씩 반복해서 더해, 결국 무작위 노이즈와 구분할 수 없는 상태까지 만드는 과정이다. 여기에는 학습이 없다. 목적은 다양한 노이즈 수준의 이미지 데이터셋을 만드는 것이다. 이 데이터로 역방향 확산, 즉 노이즈를 조금씩 걷어내는 과정을 수행할 모델을 학습시킨다. '모든 돌덩이 안에는 조각상이 들어 있고 조각가가 그것을 찾아낸다'는 비유처럼, 무작위 노이즈 안에 숨은 정합적인 이미지를 신경망이 찾아내는 셈이다.

역방향 확산의 학습은 이렇게 이뤄진다. 특정 시간 단계의 노이즈 낀 이미지를 주면, 모델은 그 단계에서 더해진 노이즈 패턴을 정확히 예측하려 한다. 예측한 노이즈와 실제로 더해진 노이즈(정답 레이블) 사이의 거리를 최소화하도록 학습하고, 예측 노이즈를 빼서 조금 덜 노이즈한 이미지를 얻는다. 추론 시에는 한 번에 노이즈에서 완성 이미지로 가지 않고, 점점 덜 노이즈한 이미지를 넣으며 여러 번 통과시킨다. 다만 이대로면 무작위 이미지 생성기일 뿐이라, 텍스트 설명을 함께 학습시키는 '조건부 확산'으로 프롬프트의 단어와 이미지 특징을 연결해 원하는 그림을 유도한다.

영상은 결국 이미지의 모음이다. 초당 24프레임에 8초 영상이면 192장의 이미지다. 여러 프레임에 순방향 확산을 적용하고, 특정 단계의 프레임들을 배치로 묶어 제거할 노이즈를 예측하도록 학습한다. 하지만 영상 생성에는 두 가지 큰 난제가 있다. 첫째는 '시간적 일관성'이다. 각 프레임을 따로 잘 만드는 것만으로는 부족하고, 이어 붙였을 때 말이 되어야 한다. 그렇지 않으면 깜빡임, 불필요한 색 변화, 벽을 통과하는 물체처럼 물리 법칙을 어기는 결과가 나온다. 둘째는 '계산량'이다. 192장을 720×1280 해상도로 만들면 약 1억 7천600만 픽셀에 이른다.

해결책은 두 가지다. 영상을 이미지들의 3차원 큐브로 보고, 여러 프레임에 걸친 작은 조각인 '시공간 패치'로 나눈다. 이 패치를 비전 트랜스포머에 넣으면 어텐션 메커니즘이 어떤 패치들이 서로 연관되는지 파악해, 첫 프레임에서 날아오르기 시작한 새가 뒤 프레임에서 공중에 있도록 프레임 사이를 보간하며 시간적 일관성을 학습한다. 계산량 문제는 '잠재 확산'으로 푼다. 오토인코더(인코더·디코더)로 이미지를 잠재 공간의 압축 표현으로 줄여, 픽셀이 아니라 잠재 공간에서 확산을 수행하면 훨씬 가벼워진다. 추론 때는 잠재 공간의 무작위 노이즈에서 시작해 패치로 나눠 확산 모델로 반복 제거한 뒤, 디코더로 다시 픽셀 영상으로 복원한다.

주요 인사이트

• 확산 모델의 학습 목표는 '이미지를 그리기'가 아니라 '각 단계에서 더해진 노이즈를 예측하기'다. 노이즈를 빼는 것을 반복하면 결과적으로 이미지가 만들어진다는 점이 직관과 다르다.
• 순방향 확산에는 학습이 없다. 노이즈를 더하는 과정은 단지 다양한 노이즈 수준의 학습 데이터를 만드는 장치일 뿐이다.
• 영상 생성의 본질적 난이도는 '한 장을 잘 만드는 것'이 아니라 '여러 장이 시간 순서로 말이 되게 만드는 것'에 있으며, 트랜스포머의 어텐션이 프레임 간 관계 학습에 핵심 역할을 한다.
• 잠재 확산은 고해상도 픽셀을 직접 다루는 대신 압축된 잠재 표현에서 계산해, 막대한 픽셀 수 문제를 실용적인 수준으로 낮추는 핵심 기법이다.

자주 묻는 질문

관련 AI 소식