딥드림과 CLIP로 만든 사이키델릭 이미지: 신경망 시각화 원리 해설

핵심 메시지

• 결과 이미지는 확산 모델(스테이블 디퓨전 등) 같은 이미지 '생성' 모델을 전혀 쓰지 않고 만들어졌다.
• 2015년 구글의 딥드림은 CNN을 학습시킨 뒤, 역전파로 이미지를 바꿔 중간층의 특정 패턴 값을 극대화하는 방식이었다.
• 여기에 CLIP을 더하면, 텍스트와 이미지를 같은 잠재공간에 넣어 '프롬프트로' 원하는 환각 방향을 제어할 수 있다.
• CLIP은 비전 트랜스포머 기반이라 그냥 거리만 최소화하면 사람 눈엔 잡음인데 모델은 '고양이'라 확신하는 이미지가 나온다. 이를 막는 핵심 기법이 어그멘테이션이다.

쉽게 이해하기

제작자는 신경망에 사이키델릭(환각제) 효과를 흉내 내는 실험을 소개한다. 흔히 스테이블 디퓨전 같은 생성 모델을 썼으리라 짐작하지만, 이 과정에는 이미지 생성 모델이 전혀 없다. 대신 오래된 방법론을 조합해 어떤 이미지든 특정 개념처럼 보이도록 특징을 과장한다. 구글이 예전에 공개한 딥드림과 비슷하되, 이번엔 '제어가 가능'하다는 점이 다르다.

출발점은 2015년 딥드림이다. 개·얼굴·자동차 같은 여러 클래스를 분류하도록 CNN을 학습시키면, 입력층은 이미지, 출력층은 무엇이 보이는지, 중간층은 그와 관련된 패턴을 담는다. 이 중간층의 목표 값을 역전파로 극대화하도록 이미지 자체를 조금씩 바꾸면, 신경망의 내부 작동을 처음으로 엿본 듯한 몽환적 결과가 나온다. 다만 이 방식은 학습한 대상에만 집착하고 프롬프트로 제어할 수 없다는 한계가 있다.

제어를 위해 제작자는 OpenAI의 CLIP을 도입한다. CLIP은 대조학습으로 이미지와 텍스트를 같은 잠재공간에 인코딩해, 특정 텍스트가 이미지와 얼마나 가까운지 잴 수 있다. 그래서 딥드림이 중간층 값을 극대화하듯, 여기서는 프롬프트와 이미지 사이의 잠재공간 거리를 최소화한다. 예컨대 '숲' 이미지를 조금씩 '우주' 쪽으로 밀어 CLIP이 우주로 착각하게 만들 수 있다.

그런데 단순히 거리만 최소화하면 실패한다. 딥드림의 원본은 CNN이지만 CLIP은 어텐션을 쓰는 비전 트랜스포머라 훨씬 혼란스럽게 반응하기 때문이다. 그 결과 사람 눈엔 잡음인데 CLIP은 '고양이'라 확신하는 이미지가 생긴다. 이를 해결한 핵심 기법이 어그멘테이션이다. 이미지에 무작위 기울임·확대·왜곡을 준 여러 시점에서 모두 고양이처럼 보이면 실제로 고양이스러운 것이라고 판단하게 만든다.

제작자는 'love', 'heaven', 'imagination' 같은 추상적 프롬프트도 시험한다. 사랑에선 하트와 껴안은 사람들이, 천국에선 십자가·별·성경적 형상이 나타나고, 상상에선 특정 상징 대신 이미지 전체의 패턴이 바뀐다. 이 실험이 실제로 쓸모 있는 지점은, 이런 '환각'을 프롬프트와 비교하며 CLIP 같은 모델이 개념을 어떻게 이해하는지 들여다볼 수 있다는 것이다. 코드는 MIT 라이선스로 공개돼 있고, 세부 원리는 함께 올린 블로그 글에 담겼다.

주요 인사이트

• 인상적인 시각 결과라고 해서 반드시 생성 모델이 필요한 건 아니다. 분류용 신경망과 역전파만으로도 이미지를 특정 개념 쪽으로 몰아갈 수 있다.
• 딥드림과 CLIP의 결정적 차이는 제어 가능성이다. CLIP의 공동 잠재공간 덕분에 텍스트 프롬프트로 환각의 방향을 지정할 수 있다.
• CNN에서 통하던 방법이 비전 트랜스포머에선 그대로 통하지 않는다. 어텐션 기반 모델의 혼란스러움을 어그멘테이션으로 다스려야 한다.
• 이런 시각화의 실용적 가치는 예술성보다 해석 가능성에 있다. 모델의 환각을 프롬프트와 대조하면 모델이 개념을 어떻게 인식하는지 파악할 수 있다.

자주 묻는 질문

관련 AI 소식