드림퓨전 논문 리뷰: 2D 확산 모델로 3D를 만드는 SDS와 야누스 문제 해결법

핵심 메시지

• 2D 이미지와 텍스트 쌍은 인터넷에 수십억 장이 널려 있지만, 복셀이나 포인트 클라우드 같은 3D 데이터는 전문가가 만든 희귀한 수제품이라 대규모 학습 자체가 불가능하다.
• 드림퓨전은 사진 여러 장이 필요한 NeRF를 무작위로 초기화된 빈 점토 덩어리처럼 쓰고, 구글의 이마젠 64×64 확산 모델을 사전 지식이자 평가자로 세워 형태를 다듬는다.
• 픽셀을 다루는 2D 모델과 밀도·방사량을 다루는 3D 매개변수 사이를 잇는 번역기가 점수 증류 샘플링(SDS)이며, 계산이 무거운 야코비안 항을 통째로 빼자 오히려 최적화가 안정됐다.
• 정면 사진이 많은 데이터 편향 탓에 사방에 얼굴이 생기는 야누스 문제는, 카메라의 고도와 방위각을 읽어 '뒷모습' 같은 힌트를 프롬프트에 덧붙이는 시점 의존 프롬프트로 해결했다.
• 색으로 눈속임하는 평면 판자 꼼수는 원래 색인 알베도를 흰색으로 덮고 조명과 그림자만으로 평가해 막았고, 텍스처를 뺀 CLIP R-Precision에서 선행 기술 1.3% 대비 58.5%를 기록했다.

쉽게 이해하기

'우주복을 입은 너구리'라고 입력하면 요즘 AI는 1초 만에 그럴듯한 그림을 내놓는다. 그런데 '이 너구리를 3D로 만들어 게임에 넣어 줘'라고 바꿔 말하는 순간 AI는 얼어붙는다. 이 영상은 구글 리서치와 UC 버클리 연구진의 드림퓨전 논문을 따라가며, 왜 2D에서는 날아다니던 AI가 3D 앞에서는 작아지는지, 그리고 연구진이 어떤 우회로를 찾았는지 풀어낸다. 게임과 영화, 메타버스에서 정교한 3D 자산을 만들려면 훈련된 전문가가 복잡한 소프트웨어에 며칠을 매달려야 하는 현실을 뒤집을 가능성이 걸린 문제다.

근본 원인은 데이터의 양과 질이다. 2D는 인터넷을 긁어 모으는 것만으로 수십억 장의 이미지·텍스트 쌍을 쓸 수 있지만, 3D를 표현하려면 공간을 잘게 쪼갠 복셀이나 허공에 점을 찍는 포인트 클라우드 같은 명시적 데이터가 필요하다. 이런 데이터는 전문가가 뼈대를 세우고 질감을 입혀 만든 수제품에 가까워서 애초에 대규모로 구할 수 없다. 영상은 이를 두고 2D를 배울 때는 수십억 쪽짜리 백과사전이 있는데 3D는 열 쪽짜리 단어장뿐인 상황이라고 표현한다. 연구진은 원래 여러 각도의 사진을 넣어 입체를 유추하는 기술인 NeRF를 사진 없이, 아무 값으로 채워진 빈 3D 공간을 그대로 던져 놓고 거기서부터 깎아 나가는 방식으로 뒤집어 쓴다.

그럼 점토를 빚어 줄 손은 누구인가. 이미 세상 모든 사물의 생김새를 수십억 장의 그림으로 익힌 2D 확산 모델이다. NeRF 공간 주위에 임의의 가상 카메라를 두고 어느 각도의 단면을 렌더링해 2D 모델에 보여 주면, 모델이 평가와 수정 지시를 되풀이한다. 영상은 이를 앞이 보이지 않는 조각가와 시력 좋고 깐깐한 평론가의 협업에 빗댄다. 문제는 둘이 다른 언어를 쓴다는 것이다. 평론가는 픽셀의 색과 노이즈만 알고, 조각가는 3D 공간의 밀도와 방사량을 결정하는 수학적 매개변수로 이뤄져 있다.

이 번역을 해내는 것이 점수 증류 샘플링(SDS)이다. 처음에는 2D 모델의 손실값을 그대로 역추적해 3D를 고치려 했지만 계산이 감당할 수 없이 무거웠다. 픽셀 하나가 미세하게 변할 때 3D 변수들이 각각 어떻게 따라 변해야 하는지 모든 경우의 수를 계산해야 했기 때문이다. 연구진은 이 무거운 항을 계산식에서 통째로 뜯어냈고, 놀랍게도 최적화는 무너지기는커녕 더 안정됐다. 대신 렌더링한 이미지에 일부러 노이즈를 섞고 '여기서 깨끗해지려면 어느 방향이냐'를 모델에 물어, 현재 상태와 예측된 깨끗한 상태의 차이를 3D를 갱신할 기울기로 쓴다. 라디오에서 잡음이 들릴 때 회로를 뜯어 고치라고 하는 대신 '다이얼을 왼쪽으로 돌려라'라고만 알려 주는 셈이다.

완성도를 갉아먹는 두 가지 실패도 흥미롭다. 하나는 불독을 만들라고 하면 앞면은 물론 옆면과 뒷면에까지 얼굴이 붙는 야누스 문제로, 사람들이 인터넷에 강아지 정면 사진만 올리는 데이터 편향에서 온다. 연구진은 카메라의 고도와 방위각을 읽어 프롬프트 뒤에 '뒷모습' 같은 방향 힌트를 몰래 붙여 평론가의 눈높이를 카메라 시점에 맞췄다. 다른 하나는 조각가가 얇은 판자를 세워 놓고 그 위에 2D 그림만 그려 평가를 통과하려 드는 퇴화 해법이다. 이는 원래 색인 알베도를 흰색으로 덮어 석고상 같은 상태로 만들고 가상 조명이 만든 그림자만으로 형태를 평가하게 해서 막았다. 그 결과 텍스처를 모두 걷어낸 CLIP R-Precision에서 선행 기술 드림필즈가 1.3%에 그친 반면 드림퓨전은 58.5%를 기록했다. 다만 평가 모델이 64×64 해상도라 털이나 잔주름을 표현하지 못하고, SDS가 평균적이고 안전한 답으로 수렴하는 탓에 결과가 지나치게 매끄러워지며, 렌더링에 한 시간 이상이 걸린다는 한계도 논문이 함께 밝힌다.

주요 인사이트

• 데이터가 없을 때 데이터를 더 모으는 대신, 이미 방대한 데이터를 본 다른 모델을 심판으로 빌려온다는 발상이 이 논문의 핵심이다. 부족한 자원을 구조로 우회한 사례로 읽힌다.
• 가장 정확하고 무거운 계산 항을 버렸더니 오히려 최적화가 안정됐다는 대목이 인상적이다. 형태가 아직 불분명한 초기 단계에서는 정밀한 역추적보다 나침반 같은 방향 신호가 더 쓸모 있다는 뜻이다.
• AI는 저항이 가장 적은 길을 고른다. 입체를 깎는 대신 평면 판자에 그림을 그려 정면에서만 통과하려 든 사례는, 평가 방식을 바꾸지 않으면 진짜 해답 대신 값싼 편법이 나온다는 점을 보여 준다.
• 평가자가 가진 데이터 편향은 그대로 산출물의 기형으로 옮겨온다. 정면 사진 위주로 학습한 모델이 심판을 맡자 모든 각도에 얼굴을 요구하게 된 야누스 문제가 그 증거다.
• 논문은 윤리 항목에서 양면성을 함께 적었다. 수작업으로 3D 자산을 만들던 창작자의 일이 자동화로 대체될 수 있다는 우려와, 기술 장벽에 막혀 있던 사람들에게 3D 창작의 문이 열린다는 기대가 나란히 놓인다.

자주 묻는 질문

관련 AI 소식