스테이블 디퓨전 원리와 검색 증강 확산 모델 정리 — 뵈른 옴머 교수의 찰머스 공대 초청 강연 요약

핵심 메시지

• 확산 모델은 사람 눈에 보이지도 않는 미세한 디테일에 표현력의 대부분을 쓴다. 강연자는 이를 '학습된 JPEG 압축기'라고 표현했다.
• 스테이블 디퓨전은 확산 과정을 픽셀이 아니라 압축된 잠재 공간에서 돌려, 수십억 장의 학습 이미지를 10GB 미만 모델로 담고 일반 소비자용 그래픽카드에서 돌아가게 만들었다.
• 두 번째 아이디어는 검색 증강이다. 학습 데이터와 분리된 2천만 개 패치 데이터베이스에서 비슷한 조각을 찾아 조건으로 넣으면, 모델은 '무엇을 그릴지'가 아니라 '어떻게 조합할지'만 배우면 된다.
• 추론 시점에 데이터베이스만 바꾸면 학습을 다시 하지 않고도 회화 스타일 생성 같은 새로운 과제로 옮겨 갈 수 있다.
• 강연자는 모델을 무작정 키우면 서버 하드웨어를 가진 소수 기업만 연구할 수 있게 되고, 결국 창작의 다양성이 줄어든다고 우려했다.

쉽게 이해하기

이 영상은 스웨덴 찰머스 공과대학의 딥러닝 강의에 뮌헨의 뵈른 옴머 교수가 초청 연사로 참여해 진행한 강연이다. 그는 자신의 연구팀이 내놓은 스테이블 디퓨전을 사례로 삼아, 최근 생성 모델 분야에서 벌어진 변화와 그 한계를 설명한다. 강연은 생성 모델의 기초를 정리한 뒤 두 가지 연구 방향으로 이어진다.

먼저 판별 모델과 생성 모델의 차이를 짚는다. 판별 모델은 두 종류를 갈라내는 경계만 배우면 되지만, 생성 모델은 데이터 자체가 어떻게 생겼는지를 배운다. 강연자는 이를 얼룩말과 코끼리를 구분하는 특징만 과장해 그리는 서툰 화가와, 대상의 모든 세부를 담아내는 거장에 비유했다. 또한 레이블을 붙이는 비용 때문에 지도 학습이 아니라 자기지도 학습이 이 분야를 끌고 갈 것이라고 봤다.

이어 생성 모델 계열을 비교한다. 적대적 생성 신경망은 표본 품질이 높고 빠르지만 밀도에 직접 접근할 수 없고 모드 붕괴 문제가 있다. 변분 오토인코더는 데이터 분포를 넓게 덮지만 품질과 커버리지 사이에서 타협해야 한다. 자기회귀 모델은 정확한 가능도를 주는 대신 이미지를 글처럼 순서대로 읽어야 해서 느리다. 확산 모델은 학습이 안정적이라는 장점이 있지만, 노이즈를 조금씩 더하고 되돌리는 긴 사슬 때문에 계산 비용이 크다.

여기서 강연의 핵심 진단이 나온다. 확산 모델은 잔디 한 포기, 얼굴의 미세한 질감처럼 사람이 알아채지 못하는 디테일에 표현 비트의 대부분을 쓰고, 정작 성별이나 안경 착용 여부 같은 의미 정보에는 거의 비트를 쓰지 않는다. 지금까지의 해법은 모델을 더 키우는 것이었지만, 그러면 추론조차 서버급 장비에서만 가능해진다. 스테이블 디퓨전은 그 대신 합성곱 기반 압축 단계를 앞에 두고 확산 모델을 잠재 공간에서 돌리는 구조를 택했다.

강연 후반부는 '무엇을 아예 배우지 않을 것인가'를 다룬다. 강연자는 모네가 나무를 그리기 위해 실제로 자연을 보러 나갔다는 점을 들어, 모델도 추론 시점에 외부 자료를 참고하면 된다고 주장한다. 900만 장에서 뽑은 2천만 개 패치를 담은 별도 데이터베이스를 두고, 생성할 때 관련 패치를 찾아 조건으로 넣는 방식이다. 검색에는 100밀리초 정도가 더 들지만 모델 자체가 훨씬 작아져 기존 방식 대비 약 10배 빨라졌다고 설명했다.

주요 인사이트

• 생성 품질을 높이는 길이 파라미터 증가뿐이라는 통념과 달리, 이 강연은 '어디에 표현력을 쓸 것인가'를 재배치하는 것만으로도 큰 이득을 얻을 수 있음을 보여준다. 국소 질감은 합성곱에, 장거리 맥락은 확산 모델에 맡기는 분업이 핵심이다.
• 압축이 곧 속도로 이어지는 구조도 눈여겨볼 만하다. 강연자는 자기회귀 모델이 이차 복잡도를 갖기 때문에 코딩 길이를 4배 줄이면 계산량은 약 16배 줄어든다고 설명했다.
• 검색 증강의 진짜 가치는 유연성이다. 학습을 다시 하지 않고 참조 데이터베이스만 교체해 스타일을 바꾸거나 학습 때 본 적 없는 영역으로 옮겨 갈 수 있고, 이 이득은 학습 상황에서 멀어질수록 커진다.
• 교차 어텐션으로 조건 신호를 넣는 설계 덕분에 텍스트-이미지 생성, 인페인팅, 초해상도, 레이아웃 기반 생성이 하나의 틀에서 처리된다는 점도 실무적으로 중요하다.
• 기술 접근성에 대한 문제 제기도 담겨 있다. 강연자는 소수 기업만 감당할 수 있는 규모로 가면 연구와 창작 모두 위축된다며, 작은 모델을 얼마나 멀리 밀어붙일 수 있는지 확인해야 한다고 말한다.

자주 묻는 질문

관련 AI 소식