AI 지형 생성 기술: 디퓨전으로 무한한 가상 세계를 빠르게 만드는 방법

핵심 메시지

• 지금까지 가상 지형 생성은 '빠르지만 단조로운 노이즈 방식'과 '실제 지형을 학습하지만 느린 AI 방식' 중 하나를 골라야 하는 40년 묵은 딜레마였다.
• 새 연구는 두 방식을 합쳐, 학습 능력과 속도라는 장점을 동시에 갖춘 지형 생성 기법을 제시한다.
• 핵심은 새 영역을 만들 때 세계 전체가 아니라 그 영역에 겹치는 '이웃 창'들의 결과만 가중 평균해, 세계가 아무리 커져도 속도가 느려지지 않게 한 점이다.
• '라플라시안 재추출' 기법으로 거대한 산맥과 몇십 센티미터짜리 능선·강둑 같은 미세 지형을 동시에 표현한다.
• 이 기술은 2주 학습, 4년 된 소비자용 GPU에서 실시간 구동됐고 코드와 마인크래프트 모드가 무료로 공개됐다.

쉽게 이해하기

가상 세계를 만드는 프로그램은 오래전부터 있었지만, 대부분은 '노이즈'를 기반으로 지형을 찍어낸다. 이 방식은 모든 방향으로 무한히 이어지고 매우 빠르지만, 전체를 아우르는 큰 그림이 없어 지나치게 균일하고 반복적으로 보인다. 영상에서는 이를 '학습하지 못하는' 방식이라고 설명한다.

반대로 AI 기반 방식은 지구 실제 지형의 통계적 분포를 학습해 베끼지 않고도 비슷한 지형을 만들어낼 수 있다. 문제는 속도다. 새로 만드는 모든 영역이 세계의 다른 모든 영역에 의존하기 때문에 일관성은 얻지만 생성이 극도로 느려진다. 결국 '학습이냐 속도냐' 중 하나만 택해야 했고, 영상은 이를 지난 40년의 이야기라고 표현한다.

새 연구는 이 둘을 하나의 기법으로 융합한다. 이미지 생성 AI처럼 노이즈에서 출발해 조금씩 정돈해 결과를 만드는 '디퓨전' 개념을 지형에 적용하되, 새 영역 R을 만들 때 R에 겹치는 여러 창(window)에서만 노이즈 제거를 수행하고 그 결과를 가중 평균한다. 즉 '이 지점을 볼 수 있는 이웃들의 의견만 섞고 나머지는 무시'하는 방식이다.

이 설계 덕분에 한 영역을 계산하는 비용이 세계 전체 크기와 분리된다. 세계가 커져도 생성 속도가 느려지지 않으며, 수백만 마일 떨어진 지점으로 즉시 '순간이동'해 그곳 지형을 바로 만들 수 있다.

또 하나의 난제는 규모 차이다. 실제 지형은 해구부터 에베레스트까지 높이차가 거대한데, 정작 지형을 지형답게 만드는 능선·강둑·질감은 아주 작다. 연구진은 '라플라시안 재추출' 기법으로, 산 전체와 작은 요소를 각자 알맞은 스케일에서 따로 다룬 뒤 하나로 합쳐 큰 지형과 미세 지형을 동시에 담아낸다.

주요 인사이트

• 성능 개선의 열쇠는 더 큰 모델이 아니라 '전체가 아닌 이웃만 참조한다'는 계산 구조의 재설계였다. 이것이 세계 크기와 생성 비용을 분리해 무한 확장과 속도를 동시에 가능케 했다.
• 서로 다른 스케일의 정보를 따로 처리한 뒤 합치는 접근은, 거대 구조와 미세 디테일을 한 모델이 함께 다루기 어렵다는 디퓨전의 한계를 우회하는 실용적 해법이다.
• 2주 학습과 4년 된 소비자용 GPU라는 조건은, 최신 그래픽 연구가 반드시 초대형 인프라를 요구하지는 않는다는 점을 보여준다.
• 코드와 마인크래프트 모드를 무료로 공개해 누구나 재현·활용할 수 있게 한 점은 '열린 과학'의 가치를 그대로 보여준다.
• 이 성과가 한 명의 독립 연구자에게서 나와 컴퓨터 그래픽 분야 최고 학회인 시그래프(SIGGRAPH)에 발표됐다는 사실은, 개인 연구자도 분야의 오랜 난제를 풀 수 있음을 시사한다.

자주 묻는 질문

관련 AI 소식