Stable Diffusion 원리 쉽게 이해하기: 확산 모델과 잠재 확산 모델(LDM), U-Net·텍스트 주입

핵심 메시지

• Stable Diffusion은 DALL·E 2와 달리 코드와 가중치가 공개된 오픈소스 텍스트-이미지 생성기로, 그 알고리즘의 바탕은 잠재 확산 모델(LDM)이다.
• 확산 과정은 이미지에 단계별로 노이즈를 더해 결국 거의 노이즈로 만드는 과정이고, 확산 모델은 그 반대로 노이즈를 점진적으로 제거해 이미지를 복원하도록 학습한다.
• 각 단계에서 하나의 U-Net이 노이즈 낀 이미지를 받아 포함된 전체 노이즈를 예측하되, 그중 일부만 빼며 여러 단계에 걸쳐 어려운 생성 문제를 나눠 푼다.
• 텍스트는 언어 트랜스포머의 표현을 이미지 입력에 이어 붙이는 방식과, U-Net의 교차 어텐션이 텍스트 토큰에 주목하는 방식 두 가지로 주입된다.
• LDM의 핵심은 이미지 공간이 아닌 저차원 잠재 공간에서 확산을 수행하는 것으로, 연산 부담을 줄여 노트북 하드웨어에서도 Stable Diffusion을 돌릴 수 있게 했다.

쉽게 이해하기

Stable Diffusion은 DALL·E 2처럼 텍스트로 이미지를 생성하지만, API와 유료 장벽 뒤에 숨은 DALL·E 2와 달리 코드에 이어 가중치까지 공개된 오픈소스라는 점이 크게 다르다. 이 영상은 그 알고리즘의 바탕인 잠재 확산 모델(Latent Diffusion Models, LDM)을 설명한다.

먼저 확산 모델의 개념이다. 확산 과정은 이미지에 t단계에 걸쳐 점점 더 많은 노이즈를 더해 마지막에는 거의 순수한 노이즈로 만드는 것이다. 확산 모델은 이 과정을 거꾸로 뒤집어, 노이즈를 단계마다 조금씩 줄여 이미지를 만들어 낸다. 이때 각 단계에서 t에서 t-1로 가는 데 같은 하나의 신경망, 보통 U-Net을 사용한다. U-Net은 이미지를 저차원 표현으로 다운샘플링했다가 업샘플링으로 복원하는 합성곱 신경망으로, 두 경로가 스킵 연결로 이어진다.

중요한 세부 사항은 U-Net이 매 단계에서 "그 단계에서 뺄 일부 노이즈"가 아니라 이미지에 포함된 "전체 노이즈"를 예측한다는 점이다. 다만 모델을 한 번에 전부 신뢰하지 않기 때문에, 각 단계에서는 그중 일부만 제거하고 다시 한 번 노이즈 제거를 시도한다. 이렇게 단계를 나누면 순수 노이즈에서 이미지를 만드는 어려운 문제를 여러 단계로 쪼개어, 각 단계가 이전 단계를 보정하고 특히 텍스트 정보를 점진적으로 주입할 수 있게 된다.

텍스트는 두 가지 방식으로 개입한다. 하나는 언어 트랜스포머에서 나온 텍스트 표현을 이미지 입력에 이어 붙이는 것이고, 다른 하나는 U-Net의 어텐션 층이 텍스트 토큰에 주목하는 교차 어텐션이다. 그런데 1024×1024 같은 큰 이미지를 직접 생성하려면 U-Net이 그만한 크기의 노이즈 격자를 다뤄야 해 한 단계도 비싸지고, 이를 100단계 이상 반복해야 하므로 비용이 매우 커진다.

LDM은 이 고차원 문제를 다르게 푼다. 이미지 공간에서 작업한다는 생각을 버리고 잠재 공간에서 작업하는 것이다. 이미지를 인코더(VQ-VAE)로 저차원 표현으로 압축하고, 노이즈도 이미지가 아니라 이 저차원 표현에 더한다. U-Net이 저차원 표현에서 작동하므로 부담이 훨씬 줄고, 인코더·디코더가 세부 묘사를 맡는 동안 확산 모델은 중요한 의미(semantics)에 집중할 수 있다. 덕분에 클러스터가 아니라 노트북에서도 실행이 가능해졌다. 또한 Stable Diffusion은 "아름다움" 기준으로 걸러낸 LAION-Aesthetics 데이터로 학습되어 예술 생성에 특화된 고유한 화풍을 갖게 되었으며, Stability AI와 Eleuther AI·LAION 같은 커뮤니티의 협업으로 완성되었다.

주요 인사이트

• 확산 모델의 학습 목표는 "노이즈를 더하는 과정을 되돌리는 것"이며, 생성은 순수 노이즈에서 시작해 U-Net으로 노이즈를 단계적으로 제거하는 것이다.
• U-Net은 각 단계에서 전체 노이즈를 예측하지만 그중 일부만 제거해, 생성이라는 어려운 문제를 여러 단계로 나눠 안정적으로 푼다.
• LDM의 결정적 아이디어는 무거운 이미지 공간 대신 저차원 잠재 공간에서 확산을 수행해 속도를 크게 높인 것이다. 이 덕분에 개인 하드웨어에서도 실행이 가능해졌다.
• GLIDE처럼 저해상도로 다운샘플링 후 업샘플링하는 기존 방식과 달리, LDM 인코더는 이미지의 의미를 담은 압축 코드로 임베딩하고 확산 모델이 그 위에서 작동한다.
• 학습 데이터가 결과의 화풍을 결정한다. "아름다운" 이미지로 걸러진 LAION-Aesthetics로 학습된 점이 Stable Diffusion을 DALL·E 2·Midjourney·Imagen과 다른 스타일로 만든다.

자주 묻는 질문

관련 AI 소식