딥스테레오(DeepStereo): 사진 몇 장으로 새로운 시점의 3D 공간을 합성하는 구글의 딥러닝 기술

핵심 메시지

• 딥스테레오는 사진 몇 장만으로, 카메라가 실제로 향하지 않았던 새로운 시점의 장면까지 픽셀 단위로 만들어내는 '새로운 시점 합성(novel view synthesis)' 기술이다.
• 특징점 매칭과 명시적 3D 기하 계산에 의존하던 기존 방식의 한계(무늬 없는 벽, 가려진 영역에서의 붕괴)를 딥러닝으로 정면 돌파했다.
• 핵심 전처리인 '평면 스윕 볼륨'은 목표 카메라 앞에 여러 깊이 평면을 겹쳐 원본 사진을 재투영함으로써, 복잡한 3차원 탐색을 신경망이 잘하는 수직 방향 탐색 문제로 바꿔 준다.
• 네트워크는 깊이 확률을 고르는 '선택 타워'와 색을 정하는 '컬러 타워'로 역할을 나누고, 두 결과를 가중합해 최종 이미지를 만든다.
• 구글 스트리트뷰 데이터에서 사진 한 장을 가려 두고 그것을 복원하게 하는 자기지도 학습으로, 사람이 붙인 정답 라벨 없이 학습했다.

쉽게 이해하기

딥스테레오(DeepStereo)는 구글 연구진이 발표한 논문으로, 스마트폰으로 방 한쪽을 몇 장만 찍어 건네주면 소파 뒤나 탁자 밑처럼 카메라가 한 번도 향하지 않은 공간까지 자연스럽게 채워 넣는다. 발표자들은 이를 단순한 파노라마 이어붙이기가 아니라, 마치 처음부터 그 자리에 카메라가 있었던 것처럼 '탐험 가능한 3D 공간'을 만들어내는 일이라고 설명한다.

기존 컴퓨터 비전은 여러 사진에서 같은 지점을 찾는 특징점 매칭으로 삼각측량을 해 깊이를 계산했다. 그러나 무늬 없는 흰 벽처럼 단서가 없으면 깊이를 전혀 추정하지 못했고, 앞의 잎이 뒤의 가지를 가리는 것처럼 원본에 아예 담기지 않은 정보가 필요할 때는 주변 픽셀을 억지로 늘려 화면이 계단처럼 찢어졌다. 오래된 3D 게임에서 카메라가 벽에 박혔을 때 텍스처가 늘어지는 현상이 대표적인 예다.

딥스테레오는 기하 블록을 조립하는 과정을 아예 건너뛴다. 대신 방대한 데이터로 학습한 신경망이 '이런 모양의 잎 뒤에는 대략 이런 색과 질감의 가지가 있을 확률이 높다'는 사전 지식을 활용해 빈 공간에 들어갈 픽셀 색을 직접 회귀 예측한다. 이 방식이 가능하다는 확신은, 노이즈 제거·화질 개선(초해상)에서 수백만 파라미터 신경망이 픽셀을 잘 생성한다는 사실이 이미 입증되어 있었기 때문이다.

여기서 공간 정보를 어떻게 효율적으로 넘겨줄지가 최대 난제였다. 해법은 '평면 스윕 볼륨'이라는 전처리다. 목표 가상 카메라를 기준으로 가까운 곳부터 먼 곳까지 여러 장의 투명한 깊이 평면을 세우고, 입력 사진들을 각 평면에 다시 투영해 여러 겹으로 쌓는다. 밀푀유 케이크를 위에서 내려다보는 것과 같은 이 구조 덕분에, 목표 카메라로 들어오는 빛은 여러 평면에서 같은 좌표를 지나므로 네트워크는 이미지 전체를 뒤질 필요 없이 한 좌표의 위아래만 비교하면 된다.

신경망은 두 개의 큰 타워로 나뉜다. 선택 타워는 각 픽셀이 어느 깊이 평면에 있을지의 확률을 계산하고, 마지막 단계의 소프트맥스로 확률을 가장 확실한 한 평면에 몰아 결단력을 부여한다. 컬러 타워는 위치와 무관하게 각 평면에서 뽑을 수 있는 최적의 RGB 색만 독립적으로 계산한다. 마지막에 두 결과를 픽셀마다 곱해 더하는 가중합으로 최종 이미지가 완성된다.

주요 인사이트

• 가장 인상적인 부분은 라벨이 필요 없다는 점이다. 스트리트뷰의 '로제트'(여러 방향을 한 번에 찍은 사진 묶음) 약 10만 개에서 한 장을 몰래 빼고 네트워크가 그 자리 사진을 그려 보게 한 뒤, 실제 원본과 픽셀 단위로 비교하는 자기지도 방식으로 스스로 학습했다.
• 손실 함수로 L2 대신 L1을 쓴 이유가 실용적이다. L2는 결과가 전체적으로 뿌옇게 흐려지는 반면, L1은 경계와 모서리 같은 디테일을 훨씬 또렷하게 살려 주었고, 학습은 Adagrad로 100만 스텝 넘게 진행됐다.
• 실제 거리의 무질서(유리창 반사, 지나가는 차와 사람)가 오히려 AI를 똑똑하게 만들었다. 반사면에서는 픽셀이 시각적으로 깨지지 않게 자연스럽게 칠하는 법을, 움직이는 물체에서는 억지 구조 대신 부드럽게 흐리게 처리하는 법을 스스로 익혔다.
• 거리 데이터로만 배웠는데 실내 사진에도 잘 작동했다는 점에서, 특정 장면을 외운 것이 아니라 빛과 공간 깊이의 보편적 법칙을 스스로 깨우친 '공간 지능'의 창발로 볼 수 있다.
• 한계는 속도와 메모리다. 논문 발표 시점 하드웨어 기준으로 512×512 이미지 한 장 합성에 멀티코어 CPU로 약 12분이 걸렸고, 대역폭 제약 때문에 깊이 평면 수는 96개, 입력 사진은 5장으로 고정되어 있었다.

자주 묻는 질문

관련 AI 소식