AI로 이미지의 평균 구하기: 밈 16개를 토너먼트로 합성한 의미 기반 이미지 실험

핵심 메시지

• 이미지를 픽셀 단위로 겹치는 대신 의미 단위로 평균 내는 방식을 시도해, 두 이미지의 중간에 해당하는 새 이미지를 생성했다.
• 이미지를 스타일과 구성 요소, 구도, 그리고 무엇에 관한 그림인지를 설명하는 문장이라는 세 축으로 나눠 각각 수치로 표현한 뒤 평균을 냈다.
• 한 번에 두 장만 합칠 수 있다는 제약 때문에, 밈 16개를 짝지어 합치고 그 결과를 다시 합치는 토너먼트 방식으로 15번의 합성을 거쳤다.
• 합성 과정에서 어떤 개념은 유독 강하게 살아남았다. 처음에 곰 이미지가 한 장뿐이었는데도 마지막 결과물까지 곰의 특징이 이어졌다.
• 제작자는 사용한 작업 흐름을 오픈소스로 공개했지만, 실행하려면 상당한 성능의 GPU가 필요하다고 밝혔다.

쉽게 이해하기

이 영상의 출발점은 단순한 질문이다. 이미지들을 AI로 합치는 여러 방법을 고민하던 제작자는 픽셀을 평균 내는 흔한 방식 대신, 이미지가 담고 있는 의미를 평균 낼 수 있는지 시험해 보기로 했다. 그래서 던진 질문이 "모든 밈의 평균은 무엇인가"였다.

그가 잡은 축은 세 가지다. 하나는 그림의 스타일과 등장 요소, 다른 하나는 화면의 구도, 마지막은 이 그림이 무엇에 관한 것인지를 서술하는 설명이다. 이 세 가지를 각각 수치로 표현한 뒤 두 이미지 사이에서 평균을 구하고, 그 평균값들로 새 이미지를 생성하는 것이 방법의 뼈대다.

첫 시도는 실패했다. 자신 있게 구현한 결과물이 엉망으로 나오자 그는 처음부터 다시 시작해 논문을 읽고 여러 차례 시행착오를 거쳤다. 중간 결과물은 여전히 조악했지만 두 원본의 성질을 모두 갖고 있었고, 세부 조정을 더한 끝에 의도한 수준의 결과에 도달했다고 말한다.

문제는 이 방식이 한 번에 두 장만 다룬다는 점이었다. 그는 밈 16개를 두 장씩 짝지어 합치고, 그 평균들을 다시 짝지어 합치는 토너먼트 구조로 이 한계를 우회했다. 세로로 긴 밈은 일부를 잘라내야 했는데, 어디를 남길지는 반쯤 임의로 정했다고 인정한다.

결과는 예상 밖의 장면들을 만들어냈다. 두 인물이 등장하는 이미지 두 장을 합쳤더니 원본과 무관해 보이는 제3의 인물이 나타나기도 했다. 최종 결과물이 무엇을 뜻하는지에 대해 제작자 본인도 답을 갖고 있지 않다고 솔직하게 말한다. 다만 두 이미지가 매번 나름의 방식으로 맞물리는 과정 자체가 흥미로웠다는 것이다.

주요 인사이트

• 의미 기반 합성에서는 개념마다 생존력이 다르다. 16개 중 곰이 등장하는 이미지는 한 장뿐이었는데도 그 특징이 마지막 단계까지 전달됐다는 점은 표현 공간에서 어떤 요소가 더 강한 신호를 갖는지 보여준다.
• 합성 결과에 원본에 없던 요소가 등장하는 현상은 이 방식이 원본을 겹치는 것이 아니라 새 이미지를 생성하는 방식임을 드러낸다. 두 인물 이미지를 합쳤을 때 나온 제3의 인물이 대표적이다.
• 실험의 규모를 제한한 것은 아이디어가 아니라 계산 자원이었다. 제작자는 더 많은 밈을 평균 내고 싶지만 지금 보유한 장비로는 불가능하다고 밝혔다.
• 전처리 단계의 임의성은 결과에 그대로 반영된다. 가로형이 아닌 밈을 자를 때 어느 부분을 남길지 반쯤 임의로 정했다는 점은 이런 실험의 재현성이 어디서 흔들리는지를 보여준다.
• 같은 방식은 밈에만 쓸 이유가 없다. 제작자는 미술 작품끼리 합치는 실험도 해봤고 결과가 상당히 좋았다고 말한다.

자주 묻는 질문

관련 AI 소식