번들 조정과 평행 강성: 3D 복원에서 카메라와 점이 통째로 어긋나는 원인과 해법

핵심 메시지

• 3D 복원 결과에서 점들이 무작위가 아니라 원래 구조와 똑같은 모양을 유지한 채 통째로 다른 자리에 떨어지는 현상이 있는데, 이는 최적화가 덜 수렴한 문제가 아니라 해가 하나로 정해지지 않는 문제다.
• 번들 조정은 카메라와 3D 점을 양쪽 노드로 놓은 이분 그래프로 볼 수 있고, 각 간선은 "이 카메라가 이 점을 어느 방향에서 본다"는 정보에 해당한다.
• 연구진은 방향 정보에서 노드 값을 유일하게 복원할 수 있는지 따지는 평행 강성(parallel rigidity) 이론을 이 그래프 구조에 적용했다.
• 3차원 공간에서는 길이 3과 4의 고리가 평행 강성을 만족하고 번들 조정 그래프의 최소 고리 길이가 4이므로, 길이 4 고리들이 어떻게 맞물리는지만 검사하면 된다.
• 고리 조합을 전부 확인하는 것은 규모가 커지면 폭발하므로, 카메라끼리의 관계를 담은 뷰 그래프를 대신 검사해 계산량을 줄이는 알고리즘을 제안했다.

쉽게 이해하기

미쓰비시전기 연구소(MERL)의 랄릿 마남(Lalit Manam) 연구원이 CVPR 2026에서 발표한 "Parallel Rigidity Matters for Bundle Adjustment"를 소개하는 영상이다. 인도 과학원의 베누 마드하브 고빈두(Venu Madhav Govindu) 교수와 공동 연구한 결과로, 여러 장의 사진에서 3차원 형태를 되살리는 과정에서 결과물이 지저분해지는 원인을 다룬다.

출발점은 눈에 보이는 이상 현상이다. 복원된 장면을 보면 중심 구조에서 떨어져 나온 3D 점 무리가 있는데, 확대해 보면 그 점들이 중심 구조와 완전히 같은 패턴을 유지하고 있다. 무작위로 흩어진 잡음이 아니라 한 덩어리로 함께 잘못 놓인 것이다. 연구진은 이 관찰에서 문제의 성격이 정밀도가 아니라 유일성에 있다고 판단했다.

번들 조정은 카메라 자세와 3D 점 좌표를 동시에 최적화해, 3D 점을 이미지 평면에 투영한 위치와 실제 관측된 2D 위치의 차이를 줄이는 문제다. 이 문제에는 숨은 그래프 구조가 있다. 한쪽 노드는 카메라, 다른 쪽 노드는 3D 점이고, 간선은 어떤 카메라가 어떤 점을 보는지를 나타낸다. 카메라 모델에 따르면 관측 하나는 "그 점이 어느 방향에 있는지"를 알려 주므로, 결국 방향 정보로부터 노드 값을 되찾는 문제가 된다.

여기서 평행 강성 이론이 등장한다. 이 이론은 간선의 방향 정보만으로 노드 값이 하나로 정해지는지 판정한다. 발표자는 간단한 예로 어떤 그래프에서는 일부 노드를 고정하면 나머지 값이 유일하게 정해지지만, 다른 그래프에서는 여러 해가 가능함을 보여 준다. 번들 조정의 정합 조건은 이 이론이 다루는 조건과 형태가 매우 비슷한데, 차이는 회전과 내부 파라미터를 미리 알 수 없다는 점이다. 그것들도 최적화 대상이기 때문이다.

연구진의 우회 방법은 방향 값을 빼고 그래프의 위상만 보는 것이다. 3차원에서는 길이 3과 4의 고리가 평행 강성을 만족하고, 번들 조정 그래프에서 나올 수 있는 가장 짧은 고리는 길이 4이므로, 길이 4 고리들이 서로 어떻게 맞물리는지만 살피면 된다. 맞물리는 방식은 카메라와 점을 하나씩 공유하는 경우, 카메라 두 개를 공유하는 경우, 점 두 개를 공유하는 경우로 정리된다.

문제는 규모다. 장면이 커지면 확인할 조합이 폭발한다. 연구진은 카메라를 노드로, 두 카메라 사이의 대응된 관측을 간선으로 삼는 뷰 그래프를 활용했다. 대응된 관측 하나는 번들 조정 그래프에서 카메라–점 간선 두 개를 만들기 때문에, 뷰 그래프가 사실상 번들 조정 그래프의 위상을 결정한다. 덕분에 확인할 조합이 크게 줄고, 평행 강성을 만족하는 그래프를 얻는 실용적인 알고리즘이 된다.

결과 비교에서는 세 단계가 제시된다. 원래 복원에는 어긋난 점 무리가 있고, 뷰 그래프가 뒷받침하지 않는 관측만 제거해도 결과는 깨끗해지지 않는다. 길이 4 고리로 평행 강성을 확인하는 제안 방법을 적용하면 어긋난 부분이 제거돼 깔끔한 복원이 된다. 건물의 한 면이 엉뚱한 곳에 붙어 있던 다른 사례에서도 같은 효과가 확인됐다.

주요 인사이트

• 오류의 "모양"이 진단의 단서가 됐다는 점이 인상적이다. 어긋난 점들이 원래 구조와 같은 패턴을 유지한다는 사실은 개별 관측의 잡음이 아니라 부분 그래프가 독립적으로 크기 조절될 수 있다는 구조적 결함을 가리킨다.
• 이상치 제거만으로는 부족하다는 결론이 실용적으로 중요하다. 실제 파이프라인은 이상치를 걸러 내려고 카메라–점 간선을 지우는데, 그 과정에서 그래프가 유일한 해를 갖지 못하는 상태로 망가질 수 있다. 뒷받침 없는 관측을 지우는 것과 유일성을 보장하는 것은 다른 작업이다.
• 이론을 그대로 쓸 수 없을 때 무엇을 버릴지 고른 방식이 눈에 띈다. 평행 강성 이론은 간선의 방향 값을 필요로 하지만 번들 조정에서는 회전을 모른다. 연구진은 방향을 포기하고 위상만 남겨, 미리 알 수 있는 정보만으로 판정이 되도록 문제를 바꿨다.
• 길이 4라는 숫자가 두 방향에서 맞아떨어진 것이 이 접근의 핵심 열쇠다. 3차원에서 평행 강성이 보장되는 최소 고리가 3과 4이고, 카메라와 점을 번갈아 지나야 하는 이분 그래프에서 가능한 최소 고리도 4다. 이 우연한 일치 덕분에 가장 작은 단위부터 검사해 올라갈 수 있다.
• 큰 문제를 작은 대리 문제로 바꾸는 전략도 되짚어 볼 만하다. 카메라와 점을 모두 담은 그래프는 규모가 크지만, 카메라끼리의 관계만 담은 뷰 그래프는 훨씬 작으면서도 원래 그래프의 위상을 결정한다. 검사 대상을 대리 구조로 옮긴 것이 실행 가능성을 만들었다.

자주 묻는 질문

관련 AI 소식