AI 업스케일링 무한 확대 실험: 사진을 계속 확대하면 디테일은 어디서부터 지어낸 것일까

핵심 메시지

• 제작자는 아이폰으로 찍은 1200만 화소 사진을 반복 확대해도 흐려지지 않고 계속 새 디테일이 나오는 영상을 만들었다.
• 기존 업스케일링 모델은 해상도를 한 번 올리도록 만들어졌을 뿐 반복 적용을 전제로 학습되지 않아, 그대로 쓰면 결과가 무너졌다.
• 해결책은 ComfyUI의 노드 구조로 과정을 세밀하게 통제하는 것이었고, 확대 전에 이미지를 선명하게 만드는 처리와 대규모 언어 모델로 각 이미지의 상세 설명을 만들어 프롬프트로 되먹이는 방식이 결과를 크게 개선했다.
• 일정 지점을 넘어서면 화면에 보이는 디테일은 전부 모델이 지어낸 것이며, 같은 이미지를 다시 확대하면 전혀 다른 결과가 나온다.
• 프랙털로 시험했을 때 모델은 실제 수학적 확대와 전혀 다른 그림을 그렸고, 학습 데이터에서 본 잎사귀 같은 자연 패턴을 끼워 넣었다.

쉽게 이해하기

AI 업스케일링은 흐릿한 사진을 선명하게 만들어 주는 기능으로 널리 알려져 있다. 이 영상의 제작자는 여기서 한 걸음 더 나아가, 아이폰으로 찍은 평범한 1200만 화소 사진 한 장을 원하는 만큼 파고들어도 흐려지지 않는 영상으로 바꾸려 했다. 첫 시도는 실패였다. 기존 업스케일링 모델들은 해상도를 한 단계 올리도록 설계되고 학습됐을 뿐 자기 출력을 다시 입력으로 받아 반복 적용하는 상황을 전제하지 않았고, 미세 조정으로도 부분적으로만 나아졌다.

제작자가 택한 도구는 노드를 연결해 이미지 처리와 모델 호출을 조립하는 ComfyUI였다. 결과를 크게 개선한 요령은 두 가지였다. 하나는 모델에 넣기 전에 이미지를 선명하게 만드는 처리를 거치는 것이고, 다른 하나는 대규모 언어 모델로 각 단계의 이미지를 아주 상세하게 묘사하게 한 뒤 그 설명을 다시 생성 프롬프트로 되먹이는 것이었다.

이렇게 만든 파이프라인으로 여러 이미지를 확대해 봤다. 은하수 사진에서는 성운 같은 기체 구조가 원본과 일관되게 이어지며 계속 생성됐지만, 우주 이미지는 자기 유사성이 강해 어느 지점부터는 같은 모습이 반복됐다. 이끼 사진에서는 바위 위 이끼가 자연스럽게 나무 풍경으로 이어졌고, 파리 사진에서는 껍질의 광택과 날카로운 털이 세밀하게 살아났다.

가장 흥미로운 결과는 프랙털이었다. 프랙털은 단순한 수식으로 만들어지지만 무한히 확대해도 새로운 구조가 나오는 대상이라, 제작자는 학습 데이터에 포함됐다면 모델이 올바른 확대를 재현할지 궁금해했다. 결과는 그렇지 않았다. 모델이 그려 낸 그림은 실제 프랙털 확대와 전혀 달랐고, 학습 과정에서 익힌 잎사귀 같은 자연 패턴이 섞여 들어갔다.

제작자는 한계도 분명히 밝힌다. 화면 중앙에 무엇이 놓일지 통제할 수 없어서 중앙이 밋밋해지면 더 확대해도 볼 것이 없고, 그래서 실험을 중간에 멈춘 장면들이 있다. 그는 이미지에서 확대할 지점을 직접 고를 수 있는 앱을 나중에 만들어 볼 생각이라고 덧붙였다.

주요 인사이트

• AI 업스케일링이 만들어 내는 디테일은 잃어버린 정보를 복원한 것이 아니라 그럴듯하게 지어낸 것이다. 같은 이미지를 다시 확대하면 다른 결과가 나온다는 사실이 이를 가장 분명하게 보여 준다.
• 모델을 의도한 범위 밖에서 쓰려면 모델 자체보다 파이프라인 설계가 중요해진다. 여기서는 미세 조정보다 전처리와 프롬프트 되먹임 같은 주변 장치가 성패를 갈랐다.
• 언어 모델로 이미지를 묘사해 다시 생성 프롬프트로 넣는 방식은 서로 다른 종류의 모델을 연결해 통제력을 얻는 구체적인 사례다.
• 프랙털 실험은 좋은 검증 도구였다. 정답이 수식으로 정해져 있는 대상이라, 모델이 실제 구조를 재현하는지 학습한 패턴을 덧씌우는지가 곧바로 드러난다.
• 확대 지점을 통제할 수 없다는 한계는 기술적 미완성이라기보다 이 방식의 성격을 드러낸다. 모델은 중앙에 무엇이 있어야 하는지 알지 못한 채 그럴듯한 것을 채워 넣을 뿐이다.

자주 묻는 질문

관련 AI 소식