MUSt3R 논문 리뷰: 카메라 캘리브레이션 없이 여러 장의 사진으로 실시간 3D 공간을 복원하는 법

핵심 메시지

• MUSt3R는 카메라 내부 파라미터(캘리브레이션) 정보 없이 여러 장의 사진만으로 3D 공간을 실시간에 가깝게 복원하는 모델이다.
• 이전 모델 DUSt3R는 이미지를 반드시 두 장씩 짝지어 비교해야 해서, 이미지 수가 늘면 연산량이 제곱으로 폭발하는 한계가 있었다.
• MUSt3R는 디코더를 하나로 묶어 가중치를 공유하고, 기준이 되는 첫 이미지에만 학습 가능한 임베딩을 더해 좌표계의 중심을 지정한다.
• 카메라 자세 추정에 무거운 PnP 대신 프로크루스테스 분석을 써서, 이미 3D로 예측된 두 점 구름을 겹쳐 맞추는 방식으로 속도를 확보했다.
• 논문은 DUSt3R 대비 파라미터가 5배 가볍고 속도는 10배 빠른 8.4 FPS, 배치 처리 시 초당 72프레임까지 나온다고 보고한다.

쉽게 이해하기

어수선한 거실을 대충 찍은 흔들린 사진 세 장이 있다고 해보자. 어떤 스마트폰으로 찍었는지, 렌즈의 초점거리가 얼마인지, 어떤 각도였는지 아무 정보도 없는 평범한 2D 픽셀 덩어리다. 네이버랩스 유럽의 MUSt3R(Multi-view Network for Stereo 3D Reconstruction)는 이런 사진들만 보고 걸어 다닐 수 있는 3D 공간을 조립해낸다. 라이다도 레이더도 필요 없다.

이 흐름의 출발점은 2D 픽셀을 3D 공간의 점으로 직접 대응시키는 '포인트맵' 개념을 도입해 복잡한 투영 기하학을 신경망의 예측으로 대체한 DUSt3R였다. 다만 DUSt3R에는 이미지를 반드시 두 장씩 짝지어(pairwise) 비교해야 한다는 족쇄가 있었다. 100명이 모인 파티에서 모두가 한 번씩 악수하려면 4,950번이 필요하듯, 이미지가 수백 장만 돼도 연산량이 감당할 수 없이 불어난다.

MUSt3R는 짝짓기 자체를 없애고 다중 시점을 한 번에 처리하는 쪽으로 구조를 다시 짰다. 두 개씩 쓰던 디코더를 가중치를 완전히 공유하는 하나로 묶어 파라미터를 절반으로 줄였다. 대신 모든 이미지가 똑같은 경로를 지나면 기준 좌표계가 흔들리므로, 첫 번째 이미지의 특징에만 학습 가능한 임베딩을 더해 '네가 원점'이라는 꼬리표를 붙인다. 교차 어텐션 단계에서는 성능 기여가 미미하다는 실험 결과에 따라 RoPE 연산을 아예 걷어냈다.

카메라의 위치와 각도를 추정하는 방식도 바꿨다. 기존 3D 비전이 쓰던 PnP는 초점거리 같은 내부 파라미터를 알아야 하고 계산도 무겁다. MUSt3R는 대신 프로크루스테스 분석을 쓴다. 새로 들어온 이미지의 로컬 3D 모양과 기준에 맞춰진 글로벌 3D 모양, 두 점 구름을 허공에서 회전시키고 밀어 오차가 최소가 되도록 겹치는 방식이다. 이미 3D 좌표로 변환된 뒤라 렌즈 정보가 필요 없다.

프레임이 계속 쏟아지는 문제는 메모리 구조로 푼다. 새 프레임이 들어올 때마다 과거 전부를 다시 연산하지 않고, 이전 정보가 응축된 작업 메모리에만 교차 어텐션을 수행한다. 다만 초반 프레임의 메모리는 좁은 시야에 갇혀 있으므로, 깊은 계층이 파악한 전역 3D 정보를 이전 계층 메모리로 되돌려 주입하는 피드백 장치를 더해 공간적 일관성을 유지한다.

주요 인사이트

• 성능을 끌어올린 핵심은 더 큰 모델이 아니라 구조적 우회였다. 디코더 공유로 파라미터를 줄이고, 짝짓기 비교를 순차적 메모리 갱신으로 바꿔 제곱으로 늘던 계산량의 벽을 비껴갔다.
• 무엇을 기억할지 고르는 기준이 따로 있다. 실시간 영상에서는 시야각을 여덟 구역으로 나누고 KD 트리로 지금 화면이 얼마나 새로운 공간을 비추는지 계산해, 새로움이 임계값을 넘을 때만 메모리를 갱신한다.
• 순서 없는 사진 더미에서는 넣는 순서가 품질을 좌우한다. ASMK 이미지 검색과 최원점 샘플링을 결합해 시각적으로 가장 멀리 떨어진 이미지부터 뽑아 뼈대를 세우고, 공통 특징이 많은 순서로 가지를 쳐나간다.
• 커피잔과 산봉우리를 한 모델로 다루려면 스케일 문제를 풀어야 한다. 일반적인 거리 오차를 쓰면 큰 스케일의 오차가 작은 물체의 미세한 오차를 덮어버리므로, 로그 공간 손실 함수로 기울기를 정규화해 가까운 물체와 먼 물체에 동등한 주의를 기울이게 한다.
• 훈련 중 이미지 토큰의 일부를 가리는 토큰 드롭아웃으로 강건함을 키우되, 좌표계 기준이 되는 첫 이미지의 토큰만은 드롭아웃에서 제외해 전체 정렬이 무너지지 않게 했다.

자주 묻는 질문

관련 AI 소식