디퓨전 모델의 원리 쉽게 이해하기: 이미지 공간과 벡터 필드로 그림 생성 풀어보기

핵심 메시지

• 디퓨전 모델은 실제 이미지에 가우시안 노이즈를 점점 더해 완전한 잡음으로 만드는 과정을 신경망이 거꾸로 되돌리도록 학습한 모델이다.
• '이미지 공간'으로 보면, 모든 가능한 이미지가 고차원 공간에 놓이고 좋은 이미지들은 아주 작은 군집에만 몰려 있으며 대부분의 공간은 비어 있다.
• 생성은 무작위 노이즈 위치에서 시작해, 가장 가까운 군집으로 향하는 방향을 모델에게 물어 조금씩 이동하는 반복 과정이다.
• 노이즈가 고양이가 될지 집이 될지는 심오한 이유가 아니라, 그 노이즈가 우연히 어느 군집에 더 가까웠는지에 달려 있다.
• 학습에는 사람의 라벨이 필요 없다. 이미지에 노이즈를 더해 '되돌리는 방향'을 정답으로 삼는 자기지도 방식이기 때문이다.

쉽게 이해하기

영상은 디퓨전 모델이 인터넷 어디에도 없던 새로운 이미지를 만들어내는 장면으로 시작한다. 디퓨전 모델은 실제 이미지에 가우시안 노이즈를 조금씩 더해 결국 정보가 모두 사라진 순수 잡음에 이르게 하는 '확산 과정'을, 신경망이 거꾸로 되돌리도록 학습한 모델이다. 잡음에서 그럴듯한 이미지로 가는 수많은 예시를 보여주면, 모델은 쉬운 일(잡음 뽑기)에서 시작해 아주 어려운 일(새 이미지 생성)을 해내게 된다.

발표자는 흔한 설명이 이 과정을 신비롭게만 남긴다고 지적하며, 대신 '이미지 공간'이라는 관점을 제안한다. 예를 들어 1000×1000 픽셀 이미지는 각 픽셀이 하나의 축이 되는 100만 차원 공간의 한 점이고, 각 픽셀 값은 0에서 255 사이다. 이 공간에서 데이터셋의 좋은 이미지들이 어디에 놓이는지 보면, 대부분의 공간은 완전히 비어 있고 좋은 이미지는 극히 좁은 영역에만 모여 있다.

이유는 좋은 이미지가 '가까운 픽셀끼리 값이 비슷해야 한다'는 식의 까다로운 규칙을 따르기 때문이다. 또한 바나나 이미지들은 서로 가까이 뭉치고, 고양이 이미지들도 저희끼리 뭉치되 두 군집은 서로 멀리 떨어져 자리한다. 생성은 이 공간의 무작위 지점(노이즈)에서 출발하는데, 공간 대부분이 비어 있으니 처음 위치는 좋은 이미지 군집 바깥일 확률이 매우 높다.

여기서 디퓨전 모델의 역할이 드러난다. 모델은 현재 위치에서 가장 가까운 군집으로 향하는 '방향'을 알려주고, 그 방향으로 조금 이동한 뒤 다시 새 위치에서 방향을 물어보는 과정을 반복한다. 특정 노이즈가 고양이가 되는 것은 노이즈 안에 '고양이다움'이 숨어 있어서가 아니라, 그 노이즈가 우연히 고양이 군집에 가장 가까웠기 때문이다. 경로가 곧지 않고 굽는 이유는, 모델이 현재 지점에서 이미지의 확률을 가장 빠르게 높이는 방향(국소적 경사 상승)을 가리키기 때문이다.

학습 방법은 놀랄 만큼 단순하다. 학습셋의 한 이미지에서 시작해 무작위 노이즈를 더하면, 그 노이즈는 군집 밖으로 밀어낸 '방향'이 된다. 잡음이 섞인 이미지를 입력으로 주고 바로 그 방향(되돌아오는 방향)을 예측하게 하면 지도학습 짝이 완성된다. 노이즈의 크기와 방향, 시작 이미지를 다양하게 바꿔가며 반복하면 모델은 이미지 공간 전체에 걸친 방향의 장(벡터 필드)을 배운다. 결정적으로 이 과정에는 사람의 라벨이 전혀 필요 없다.

주요 인사이트

• '이미지 공간' 관점은 디퓨전을 신비로운 마법이 아니라 기하학적 이동으로 바꿔 놓는다. 좋은 이미지의 군집을 향해 조금씩 걸어가는 과정으로 이해할 수 있다.
• 대부분의 이미지 공간이 텅 비어 있다는 사실이 핵심이다. 좋은 이미지는 까다로운 규칙을 지키는 극소수 영역에만 존재한다.
• 노이즈가 무엇으로 변할지는 우연이다. 시작 노이즈가 어느 군집에 더 가까웠느냐가 결과를 정하며, 노이즈 안에 개념이 숨어 있는 것이 아니다.
• 생성이 한 번에 끝나지 않고 반복인 이유는, 첫 방향이 곧바로 좋은 군집을 가리키지 않을 수 있어 조금씩 이동하며 방향을 갱신해야 하기 때문이다.
• 디퓨전 모델은 사람 라벨 없이 학습된다. 이미지에 노이즈를 더해 되돌리는 방향을 스스로 정답으로 만드는 자기지도 방식이 가장 큰 강점이다.

자주 묻는 질문

관련 AI 소식