구글 스트리트 뷰 3D 도시 복원 논문 리뷰: 루프 클로징과 번들 조정으로 누적 오차 잡기

핵심 메시지

• 항공 사진은 지붕은 잘 담지만 건물 정면과 외벽 질감을 담지 못해, 보행자 시점에서 보면 벽면이 뭉개져 보인다.
• 앞만 보는 카메라는 차가 코너를 도는 순간 겹치는 장면이 끊겨 3D 복원이 멈추므로, 360도 카메라로 시야 단절을 없앴다.
• 왜곡된 사진끼리 같은 지점을 찾기 위해 특징점을 뽑아 매칭하고, 기하학적 검증으로 잘못된 짝을 걸러냈다.
• 카메라가 이동할수록 미세한 오차가 쌓여 직선 도로가 휘어지는데, 같은 장소로 돌아온 것을 알아채 전체를 다시 맞추는 것이 루프 클로징이다.
• 연구진은 데이터에 들어 있던 GPS 좌표를 복원에는 한 번도 쓰지 않고, 마지막 검증 단계에서만 정답 대조용으로 꺼내 썼다.

쉽게 이해하기

영상은 체코 기술대학교 연구진(아키히코 토리이, 미할 하블레나, 토마스 파이들라)이 발표한 컴퓨터 비전 논문 「From Google Street View to 3D city models」를 두 진행자의 대화 형식으로 풀어낸다. 화면에서 매끄럽게 보이는 3D 도시가 사실은 심하게 왜곡된 거리 평면 사진들을 기워 만든 결과물이라는 점에서 이야기를 시작한다.

왜 하늘에서 찍지 않고 굳이 땅에서 찍었는가가 첫 질문이다. 항공 사진은 대규모 도시 복원에 효율적이지만 수직으로 내려다보기 때문에 건물 정면과 외벽 질감이 거의 담기지 않는다. 그 결과 지상 시점에서 보면 벽면이 뭉개져 현실감이 사라진다. 그렇다고 자동차에 일반 카메라 하나만 달면 시야각이 좁아, 교차로에서 급하게 코너를 도는 순간 직전까지 보이던 건물이 화면에서 사라지고 연속된 장면의 겹침이 끊겨 복원이 멈춘다. 연구진은 여러 렌즈가 사방을 동시에 찍는 360도 카메라 시스템을 써서 이 단절을 없앴다.

대신 새로운 문제가 생긴다. 360도 이미지는 평면으로 펼치면 심하게 휘어 보이고, 실제로 연구진은 하늘과 차 지붕이 담긴 위쪽 230픽셀과 아래쪽 410픽셀을 잘라내고 사용했다. 서로 다르게 왜곡된 두 사진에서 같은 지점을 찾기 위해 조명이나 각도가 바뀌어도 값이 유지되는 특징점을 뽑아내는 SURF를 쓰고, 빠른 근사 최근접 이웃 탐색으로 수천 개의 특징점을 짝지었다. 여기서 나온 잘못된 짝은 에피폴라 기하로 걸러낸다. 두 카메라 위치와 실제 3차원 점이 만드는 기하 관계를 만족하지 못하는 짝은 물리적으로 같은 점일 수 없으므로 버린다. 여러 장에 걸쳐 이어지지 못하고 두 장 이하에서 끊기는 짧은 궤적도 함께 제거했다.

가장 큰 숙제는 누적 오차다. 프레임을 옮겨갈 때마다 생기는 아주 작은 오차가 수백, 수천 장을 거치며 쌓이면 직선 도로가 바나나처럼 휘고 평면이어야 할 교차로가 솟아오른다. 눈을 감고 정사각형으로 걸었을 때 출발점으로 돌아오지 못하는 상황에 비유된다. 연구진은 특징점들을 비슷한 것끼리 묶어 13만 개 규모의 시각 단어 사전을 만들고, 문서 검색에 쓰는 TF-IDF 방식으로 이미지 유사도를 계산했다. 하늘이나 아스팔트처럼 어디에나 있는 시각 단어는 가중치를 낮추고 드문 간판이나 조각상 같은 단어에 높은 점수를 줘서, 과거에 지나간 장소로 다시 들어섰다는 사실을 알아채게 한 것이다.

장소가 확인되면 두 단계로 지도를 편다. 먼저 여러 카메라 위치에서 같은 3차원 점을 향해 뻗은 가상의 광선이 한 점에서 만나는지 확인하는 검증을 통과해야 루프를 닫는다. 그다음 수만 개의 카메라 위치와 수십만 개의 점이 보이지 않는 스프링으로 연결된 구조를 상상하며, 전체의 긴장이 가장 작아지는 방향으로 좌표를 조금씩 동시에 옮기는 번들 조정을 수행한다. 계산 시간을 줄이려 전체 4,799장 중 두 장에 한 장꼴인 2,400장을 썼고, 12만 개가 넘는 3차원 점을 복원했다. 2009년 무렵의 평범한 코어2 듀오 데스크톱 한 대로 총 35.1시간이 걸렸으며 특징점 추출에 약 12.8시간, 번들 조정에만 약 14.5시간이 들었다. 그러면서도 이 연구에서 가장 눈에 띄는 선택은 GPS를 쓰지 않은 것이다. 데이터에는 촬영 차량의 GPS 좌표가 이미 들어 있었지만 복원 과정에서는 한 번도 쓰지 않았고, 마지막 결과 그래프에서만 정답 대조용으로 꺼내 자신들의 궤적과 겹쳐 보였다. 두 궤적이 거의 포개진다는 사실로, 위성 신호 없이 픽셀 데이터만으로도 대규모 구조를 파악하고 누적 오차를 바로잡을 수 있음을 보인 것이다.

주요 인사이트

• 지붕만 잘 나오는 항공 사진의 한계는 지도 품질이 아니라 시점의 문제다. 사람이 걸어 다니는 눈높이에서 쓸 지도라면 그 눈높이에서 찍은 데이터가 반드시 필요하다.
• 360도 카메라는 화질이나 화각을 자랑하기 위한 선택이 아니라, 알고리즘이 의존하는 연속된 장면의 겹침을 끊기지 않게 하려는 선택이다. 하드웨어 결정이 곧 알고리즘 성립 조건이 된 사례다.
• 잘못된 매칭을 색이나 모양이 아니라 기하 법칙 위반 여부로 걸러낸다는 점이 인상적이다. 1층 창문과 2층 창문처럼 겉모습이 같은 짝은 3차원 공간의 제약으로만 구분할 수 있다.
• 텍스트 검색 기법인 TF-IDF를 이미지에 그대로 옮겨 쓴 발상이 장소 재인식 문제를 풀었다. 흔한 시각 요소의 가중치를 낮추는 것만으로 같은 골목에 다시 들어섰음을 알아챌 수 있다.
• 정답 데이터가 손에 있어도 쓰지 않은 선택은 논문의 주장을 분명하게 만든다. GPS가 끊기는 도심 협곡이나 터널, 실내에서도 같은 방식이 통한다는 뜻이기 때문이다.

자주 묻는 질문

관련 AI 소식