확산 모델 원리 쉽게 정리: 지브리풍 이미지 생성은 노이즈를 더하고 지우며 학습한다

핵심 메시지

• 확산 모델은 원본 그림에 노이즈를 아주 조금씩, 1천 단계가 넘게 덧씌워 형체를 완전히 지우는 과정에서 출발한다.
• 학습의 핵심은 노이즈를 한 단계 걷어내면 어떤 그림이 나와야 하는지 모델이 예측하게 하고, 이미 알고 있는 정답과 예측 사이의 간극을 계속 좁히는 것이다.
• 지브리풍 그림을 대량으로 먹이면 모델은 그 색채와 선, 전체적인 분위기가 어떤 것인지 자연스럽게 익힌다.
• 실제 변환에서는 내 사진의 특징을 먼저 파악한 뒤 다시 노이즈로 가득 채우고, 학습한 모델이 노이즈를 단계별로 걷어내며 지브리풍으로 그려낸다.
• 같은 사진에 같은 명령어를 넣어도 결과가 매번 조금씩 다른 것은 걷어내는 노이즈가 무작위성을 갖기 때문이다.

쉽게 이해하기

사진을 지브리 애니메이션 그림체로 바꿔 인스타그램 스토리나 카카오톡 프로필에 올리는 일이 한동안 크게 유행했다. 그런데 AI가 어떻게 저 특유의 화풍을 그렇게 잘 흉내 내는지까지 설명해 주는 곳은 드물다. 이 영상은 내부 구현이 아무리 복잡해도 그 밑에 깔린 개념 자체는 의외로 단순하다는 점에서 출발한다.

출발점은 그림을 망가뜨리는 것이다. 고양이 사진 한 장을 두고 아주 옅은 노이즈를 조금씩 덧씌우는데, 설명용 그림에서는 네 단계로 줄여 보여 주지만 실제로는 1천 단계가 넘는다. 마지막에는 원본이 완전히 노이즈에 덮여 무엇이었는지 알아볼 수 없게 된다.

그다음이 학습의 본체다. 이번에는 노이즈를 반대로 한 단계씩 걷어내면서 컴퓨터에게 "이 단계를 지우면 어떤 그림이 나올 것 같으냐"고 맞혀 보라고 시킨다. 노이즈를 더하는 과정을 스스로 거쳤기 때문에 각 단계의 정답 상태는 이미 알고 있고, 예측과 정답 사이의 간극을 줄여 나가는 것이 곧 학습이다. 이 간극이 충분히 좁아지면 모델은 우리가 원하는 결과를 내놓기 시작한다.

지브리풍은 여기에 데이터를 갈아 끼운 결과다. 지브리풍 그림을 아주 많이 모아 같은 과정을 반복시키면, 모델은 그 화풍의 색채가 어떻고 선이 어떤 식이며 전체 분위기가 어떤지를 별도의 설명 없이 익힌다. 그림을 그릴 때는 내 사진의 특징을 먼저 읽고, 그 사진을 다시 노이즈로 가득 채운 뒤, 학습한 방식대로 노이즈를 1천 단계 이상 걷어내며 지브리풍 그림으로 완성한다.

이 방식을 확산 모델, 우리말로는 확산 모형이라고 부른다. 현재 이미지 생성 분야에서 가장 널리 쓰이며 성능과 창의성 면에서 앞선다는 평가를 받고, ChatGPT 내부에서도 확산 모델을 쓸 것이라는 추측이 많다는 점도 함께 언급된다.

주요 인사이트

• 노이즈를 먼저 씌운다는 발상이 핵심이다. 정답을 알고 있는 상태에서 일부러 망가뜨렸기 때문에, 되돌리는 각 단계마다 채점이 가능한 학습 문제가 공짜로 만들어진다.
• 모델이 배우는 것은 완성된 그림이 아니라 '한 단계 덜 지저분한 그림'을 예측하는 능력이다. 그림 전체를 한 번에 그리려 하지 않고 아주 작은 개선을 수천 번 반복하는 구조인 셈이다.
• 화풍 학습에 특별한 규칙이 필요하지 않다는 점도 눈여겨볼 만하다. 지브리풍 그림을 충분히 많이 보여 주는 것만으로 색채와 선, 분위기가 함께 딸려 온다.
• 같은 입력에 매번 다른 결과가 나오는 것은 결함이 아니라 구조상 당연한 일이다. 걷어내는 노이즈 자체가 무작위이므로 매 시도가 조금씩 다른 경로를 밟는다.
• 이 원리를 알면 결과물을 고르는 방식도 달라진다. 마음에 드는 그림이 나올 때까지 여러 번 돌려 보는 것은 요령이 아니라 확산 모델을 제대로 쓰는 방법에 가깝다.

자주 묻는 질문

관련 AI 소식