확산 모델과 텍스트-이미지 생성의 원리: 노이즈 제거부터 U-Net, CLIP, 잠재 공간까지

핵심 메시지

• 이미지 생성 모델은 순수한 잡음에서 시작해 조금씩 잡음을 걷어내는 과정을 반복한다. 한 번에 크게 복원하지 않는 것이 핵심이다.
• 학습 데이터는 만들기 쉽다. 원본 이미지에 잡음을 더한 것을 입력, 조금 덜 잡음이 낀 것을 정답으로 삼아 짝을 무한히 만들 수 있다.
• 실제 구현은 덜 잡음이 낀 이미지를 직접 예측하는 대신 더해진 잡음을 예측하고 빼는 방식을 쓰며, 이쪽이 품질이 훨씬 좋다.
• 이미지를 넣어 이미지를 얻는 구조로는 U-Net이 표준처럼 쓰이고, 좌우를 잇는 잔차 연결이 성능의 핵심 요소다.
• CLIP은 문장과 이미지의 임베딩을 같은 공간에 놓아, 텍스트 프롬프트가 곧 이미지 생성의 출발점이 되게 만든다.

쉽게 이해하기

이미지 생성 AI가 왜 그렇게 잘 작동하는지는 대규모 언어모델만큼 자주 설명되지 않는다. 이 MIT 강의는 그 빈틈을 메운다. 강의는 문제를 둘로 쪼갠다. 먼저 어떤 범주의 이미지를 아무거나 하나 만들어내는 법, 그다음 그 생성 과정을 프롬프트로 조종하는 법이다.

첫 번째 문제의 해법은 반대로 생각하기에서 나왔다. 잡음에서 그림을 만드는 방법은 모르지만, 그림에 잡음을 더하는 일은 아주 쉽다. 픽셀마다 평균 0의 정규분포 난수를 뽑아 더하고 0과 1 사이로 잘라내면 끝이다. 표준편차를 키워가며 반복하면 원본에서 완전한 잡음까지 이어지는 계열이 만들어진다.

여기서 입력과 출력 짝이 나온다. 잡음이 조금 더 낀 이미지를 입력, 조금 덜 낀 이미지를 정답으로 두면 잡음을 살짝 걷어내는 신경망을 학습시킬 수 있다. '살짝'이 결정적이다. 강연자의 표현대로 도랑은 두 번에 나눠 뛸 수 없으니, 큰 도약 대신 작은 다리를 여러 개 놓는 것이다. 학습이 끝나면 순수한 잡음을 넣고 이 과정을 수십에서 수백 번 반복해 새 이미지를 얻는다.

이미지를 받아 같은 크기의 이미지를 내놓는 신경망으로는 U-Net이 쓰인다. 왼쪽 절반은 익숙한 합성곱과 풀링으로 작고 깊게 압축하고, 오른쪽 절반은 전치 합성곱으로 원래 크기까지 되돌린다. 이때 왼쪽 각 단계의 출력을 오른쪽 대칭 위치에 이어 붙이는 잔차 연결이 들어가는데, 뒤쪽 층에 더 많은 정보를 넘겨주는 이 아이디어는 ResNet과 트랜스포머 블록에도 똑같이 쓰인다.

두 번째 문제, 즉 프롬프트로 조종하는 부분은 CLIP이 해결한다. 문장은 트랜스포머로, 이미지는 ResNet 계열로 각각 임베딩을 만든 뒤, 짝이 맞는 쌍의 코사인 유사도는 키우고 어긋난 쌍은 낮추도록 함께 학습시킨다. 인터넷에서 긁은 4억 쌍의 이미지-설명문이 재료가 됐고, 설명문은 접근성을 위해 붙여둔 대체 텍스트에서 왔다. 이렇게 얻은 텍스트 임베딩을 잡음과 함께 넣어주면 생성이 그 방향으로 끌려간다.

주요 인사이트

• 기계학습의 본질을 '흥미로운 입출력 쌍을 찾아내는 일'로 정리한 대목이 인상적이다. 구글 스프레드시트가 범위를 보고 수식을 제안하는 기능도 사용자들이 남긴 범위와 수식을 쌍으로 삼아 만들어졌다.
• 손가락이 여섯 개인 그림이 나오는 이유는 모델이 손가락 개념을 배운 적이 없기 때문이다. 지붕처럼 정답이 많은 대상은 어긋나도 티가 안 나지만, 정답이 좁은 대상은 오류가 곧바로 눈에 띈다.
• 학습 목표를 짝이 맞는 쌍만 가깝게 만드는 것으로 두면 모든 임베딩이 한 점으로 뭉개지는 붕괴가 일어난다. 어긋난 쌍을 밀어내는 항이 함께 있어야 대비 학습이 성립한다.
• CLIP은 확산 모델과 무관하게도 쓸모가 있다. 라벨도 결국 텍스트이므로, 후보 라벨들을 임베딩해 이미지와 가장 가까운 것을 고르면 재학습 없이 분류 대상을 바꿀 수 있는 제로샷 분류기가 된다.
• 속도를 끌어올린 결정적 아이디어는 잠재 공간에서 작업하는 것이다. 픽셀 대신 인코더가 만든 작은 임베딩을 반복적으로 정제하고 마지막에 디코더로 복원하면 계산량이 크게 준다. 잠재 확산 모델이라는 이름이 여기서 나왔다.

자주 묻는 질문

관련 AI 소식