확산 모델 최적화 가이드, 이미지·영상 생성 AI의 속도와 메모리 병목을 푸는 방법

핵심 메시지

• 최신 이미지 생성 모델은 단일 모델이 아니라 텍스트 인코더, 확산 신경망, 디코더가 맞물린 파이프라인이며, 이 구조 차이가 최적화 방식을 언어모델과 다르게 만든다.
• 최적화 없이 1024×1024 이미지 한 장을 만드는 데 약 34GB 메모리와 고성능 GPU 기준 7초가 들고, 5초짜리 720p 영상은 30분까지 걸릴 수 있다.
• 확산 신경망은 언어모델과 달리 연산 병목(compute bound) 상태라, 언어모델 최적화 기법이 그대로 옮겨오지 않는다.
• '작은 모델이 항상 빠르다'는 통념은 사실이 아니며, 파라미터 수가 적어도 연산량이 더 많고 처리량이 낮은 사례가 있다.
• 최적화의 기준은 속도 하나가 아니라 사용처다. 사실적 묘사가 중요한지, 실시간 상호작용이 중요한지에 따라 후속 학습이나 증류 등 선택이 달라진다.

쉽게 이해하기

MIT 공개 강의로 올라온 이 발표에서 허깅페이스 연구 엔지니어 사약 폴(Sayak Paul)은 이미지·영상 생성 모델을 실제 서비스에 올릴 때 부딪히는 현실적인 벽을 다룬다. 그는 확산 모델을 '가우시안 잡음에서 출발해 시간에 걸쳐 조금씩 잡음을 걷어내며 원하는 결과에 도달하는 반복 과정'으로 요약한다. 그리고 화질 좋은 생성물 뒤에 어떤 계산 비용이 숨어 있는지 숫자로 보여준다.

먼저 구조부터 짚는다. 언어모델과 달리 현대적인 확산 모델은 하나의 신경망이 아니다. 텍스트 설명을 임베딩으로 바꾸는 텍스트 인코더가 있고, 잠재 공간의 잡음에서 시작해 반복적으로 다듬는 확산 신경망이 있고, 마지막으로 잠재 표현을 픽셀로 되돌리는 디코더가 있다. 그 사이에는 지금 어느 단계에 있는지를 알려주는 비모수 구성 요소인 스케줄러가 끼어든다. 픽셀 공간에서 직접 계산하는 방식은 메모리와 연산 부담이 커서, 잠재 공간에서 처리하고 오토인코더로 복원하는 방식이 사실상 표준이 됐다.

숫자는 냉정하다. 널리 쓰이는 최신 오픈 모델을 bfloat16으로 돌려도 표준 해상도 이미지 한 장에 약 34GB가 필요하고, 고성능 GPU에서도 7초가 걸린다. 영상은 더 심해서 5초 분량 720p 영상 생성에 30분이 소요되는 경우도 있다. 발표자는 이 지연이 단순한 불편이 아니라 창작 도구의 상호작용성을 무너뜨리고 전력 효율을 떨어뜨리며 개발자의 실험 속도까지 늦춘다고 지적한다.

그렇다면 무엇을 손봐야 할까. 병목의 핵심은 반복 호출되는 확산 신경망이다. 다만 그는 속도만 보는 시야를 경계한다. 언제, 어디를, 무엇을, 어떻게 최적화할지를 사용처에서 역산하라는 것이다. 하드웨어에 맞춰 어텐션 헤드 수나 은닉 차원 같은 모양(shape)을 조정하기만 해도 파라미터 수는 그대로인 채 처리량이 눈에 띄게 올라가는 사례를 보여준다. 하드웨어에 특화된 커널 역시 무시할 수 없는 이득을 준다.

고해상도로 갈수록 문제는 더 커진다. 4K 이미지에서는 압축률을 8배로 잡아도 잠재 공간의 차원이 폭발해 어텐션 연산이 메모리와 속도 양쪽을 압박한다. 흔한 대응은 압축률을 16배, 24배로 더 높이고 그 과정에서 잃은 정보를 다른 방법으로 되찾는 것이다. 실제로 고압축 잠재 공간을 쓰는 고해상도 합성 모델에서 4K 생성 지연이 25배 줄어든 사례가 소개된다. 다만 과하게 압축하면 표현력에 필요한 정보 중복성까지 잃어 품질이 무너질 수 있다는 경고가 따라붙는다.

주요 인사이트

• '효율 = 작은 모델'이라는 오해를 정면으로 다룬다. 발표자는 파라미터가 적은 모델이 오히려 연산량이 많고 처리량이 낮을 수 있음을 보여주는 연구를 인용하며, 효율을 파라미터 수 하나로 판단하지 말라고 말한다.
• 벤치마크 1위 모델이 내 서비스의 최적 모델은 아니다. 사실적 묘사가 중요한 용도와 실시간 상호작용이 중요한 용도는 요구 조건이 다르고, 후자에서는 품질을 어느 정도 양보하는 편이 낫다.
• 선호 정렬(preference alignment)은 사용처를 모델에 주입하는 방법이다. 같은 프롬프트에 대한 두 후보 이미지 중 사용자가 선호하는 쪽을 학습시켜 원하는 성향의 출력을 얻는다.
• 텍스트만으로 부족하면 입력 자체를 넓힌다. 자세나 분할 맵 같은 구조적 조건을 함께 넣으면 사용자가 결과를 훨씬 정밀하게 통제할 수 있다.
• 학습이 부담스러우면 추론 시점에서 승부를 볼 수 있다. 초기 잡음이 모두 같은 품질로 이어지지 않는다는 점을 이용해 더 나은 잡음이나 더 나은 프롬프트를 탐색하고, 지표가 기준에 못 미치면 프롬프트를 개선해 다시 생성하는 반복 구조를 만든다.

자주 묻는 질문

관련 AI 소식