VGGT 논문 정리 — 후처리 없이 카메라·깊이·3D 포인트를 한 번에 예측하는 트랜스포머

핵심 메시지

• VGGT는 수 장에서 수백 장에 이르는 사진을 받아 카메라 파라미터, 깊이 맵, 3D 포인트 맵, 추적용 특징 맵을 단일 피드포워드 통과로 몇 초 만에 예측한다.
• 기존 3D 재구성은 번들 조정(BA) 같은 반복 최적화에 의존해 정확하지만 계산 비용이 크고, 최근의 피드포워드 모델들도 이미지 쌍 단위 처리나 후처리가 필요했다.
• 핵심 설계는 프레임 내부 어텐션과 전체 프레임 어텐션을 24개 층에 걸쳐 번갈아 적용하는 교대 어텐션이며, 크로스 어텐션은 전혀 쓰지 않는다.
• 깊이와 카메라를 예측한 뒤 이를 조합해 포인트 맵을 만드는 방식이 포인트 맵을 직접 예측하는 것보다 정확했다.
• 어안·파노라마 이미지 미지원과 비강체 변형 취약성 같은 한계가 남아 있지만, 복잡한 엔지니어링 없이 파인튜닝으로 보완할 수 있다는 점이 장점으로 제시됐다.

쉽게 이해하기

딥러닝논문읽기모임에서 메타가 발표한 VGGT(Visual Geometry Grounded Transformer) 논문을 다뤘습니다. 여러 장의 사진에서 3차원 구조를 복원하는 작업은 오랫동안 번들 조정이라 불리는 반복 최적화 기법에 기대 왔습니다. 정확도는 높지만 계산 비용이 크고 파이프라인이 구조적으로 복잡하다는 문제가 있었습니다.

발표자는 이 문제의식에서 논문이 출발했다고 설명합니다. 앞선 연구인 VGGSfM은 미분 가능한 번들 조정으로 학습을 이어 붙이려 했지만 여전히 후처리가 필요했고, DUSt3R·MASt3R 계열은 피드포워드 방식이지만 이미지 두 장 단위로만 동작해 장면 전체를 얻으려면 별도의 정합 과정을 거쳐야 했습니다. VGGT는 후처리가 전혀 없는 완전한 피드포워드 방식으로 여러 이미지에서 3D 정보를 직접 추정할 수 있는지를 묻습니다.

모델은 같은 장면을 여러 시점에서 찍은 RGB 이미지들을 입력으로 받아 카메라 파라미터, 깊이 맵, 포인트 맵, 그리고 점 추적을 위한 특징 맵을 함께 내놓습니다. 이미지는 DINOv2로 토큰화되고, 각 프레임 안에서만 주의를 기울이는 어텐션과 모든 프레임의 토큰을 함께 보는 전역 어텐션이 24개 층에 걸쳐 번갈아 적용됩니다. 발표자는 크로스 어텐션을 쓰지 않은 이유를 두고 특정 프레임 중심으로 정보가 쏠리는 것을 피하려는 설계로 해석했습니다.

실험에서는 카메라 포즈 추정, 멀티뷰 깊이 추정, 포인트 맵 추정, 이미지 매칭 전반에서 기존 기법을 앞섰습니다. 특히 학습에 쓰지 않은 데이터셋에서도 우위를 보여 일반화 성능을 입증했고, 번들 조정과 결합하면 성능이 한 단계 더 올라갔습니다. 흥미로운 결과는 깊이와 카메라를 먼저 예측하고 역투영해 포인트 맵을 만드는 쪽이 포인트 맵을 직접 출력하는 것보다 정확했다는 점입니다.

구조 실험에서는 교대 어텐션이 전역 어텐션만 쓰거나 크로스 어텐션을 쓴 구조보다 나았고, 크로스 어텐션 쪽은 정확도와 속도 모두 뒤처졌습니다. 여러 속성을 동시에 학습시키는 것도 성능에 중요했는데, 특히 카메라 파라미터 학습을 빼면 정확도가 크게 떨어졌습니다.

주요 인사이트

• 복잡한 과제를 하나로 뭉쳐 풀기보다 깊이·카메라처럼 단순한 하위 과제로 나눠 예측한 뒤 조합하는 편이 오히려 정확도에 유리했다는 실험 결과는 다른 분야 모델 설계에도 시사점을 준다.
• 3D 재구성에 특화된 구조를 넣지 않고 일반적인 대형 트랜스포머를 그대로 쓴 점이 특징이며, 발표자는 GPT나 CLIP처럼 여러 3D 과제의 출발점이 되는 범용 백본을 지향한 설계로 소개했다.
• 정답 데이터만 정규화하고 예측값에는 정규화를 적용하지 않은 선택이 실험적으로 더 안정적이었다. 출력까지 정규화하면 학습 수렴에 불리했다고 한다.
• 원래 점 추적에 특화된 모델이 아님에도 추적용 특징 맵을 제공하는 것만으로 기존 추적기와 결합했을 때 최고 성능이 나왔다는 점은 범용 표현의 가치를 보여준다.
• A100 64장으로 9일이라는 학습 비용은 이 방식이 개인 연구자보다는 대규모 자원을 가진 조직의 접근법임을 드러낸다.

자주 묻는 질문

관련 AI 소식