오픈프론티어(OpenFrontier): 카메라 이미지로 목표를 찾는 로봇 내비게이션 연구

핵심 메시지

• 오픈프론티어(OpenFrontier)는 로봇이 완전한 3D 지도를 만들지 않고도, 카메라로 찍은 RGB 이미지 위에서 직접 '미탐험 영역으로 향하는 단서(비주얼 프론티어)'를 찾아 이동 목표로 삼는 내비게이션 방법이다.
• 탐지된 각 프론티어에 표시(마커)를 붙여 이미지와 함께 사전학습된 비전-언어 모델(VLM)에 물어보면, VLM이 언어로 주어진 목표에 어느 방향이 더 가까운지 점수를 매긴다.
• 같은 비주얼 프론티어를 그대로 두고 언어 질의만 바꾸면 되므로, 별도 학습 없이 시중의 VLM을 그대로 갈아 끼워도 성능이 안정적으로 유지된다.
• VLM이 매 순간의 행동이 아니라 3D 목표점을 출력하기 때문에 인식과 계획을 비동기로 돌릴 수 있고, 실제 로봇에서도 실시간에 가까운 동작이 가능하다.

쉽게 이해하기

최근 로봇 내비게이션 연구에서는 비전-언어 모델(VLM)을 특정 환경 데이터로 추가 학습(파인튜닝)해 강한 성능을 내는 방식이 많다. 이미지 추론 능력은 뛰어나지만, 대규모의 해당 도메인 데이터가 필요하다는 부담이 있다. 반대로 지도 기반의 전통적 기하학 방법은 빠르고 해석하기 쉽지만, 사람이 손으로 설계한 지표에 의존하는 한계가 있다.

오픈프론티어는 이 둘을 결합한다. 핵심은 '비주얼 프론티어'라는 개념이다. 기존 방식은 지도를 만들고 알려진 공간과 미지의 공간이 만나는 경계를 프론티어로 뽑아 그쪽으로 이동한다. 그런데 연구진은 3D 지도가 항상 필요한 것은 아니며, 비슷한 경계 단서를 RGB 이미지에서 곧바로 알아볼 수 있다고 본다. 비주얼 프론티어는 미탐험 지역이나 가려진 영역을 가리키는 희소한 목표점으로 나타난다.

탐지에는 연구진의 이전 성과인 프론티어넷(FrontierNet)을 활용한다. 프론티어넷은 RGB 이미지에서 프론티어 영역을 예측하고, 그 방향으로 갔을 때 새로 드러날 3D 공간의 양(정보 이득)을 추정한다. 추론은 이미지에서 하지만 학습은 기하 정보로 지도받는데, 3D 프론티어 복셀을 투영해 2D 영역을 지도하고 근처의 미탐험 부피가 정보 이득 점수를 지도한다.

이렇게 찾은 프론티어들을 묶어 각각에 마커를 이미지 위에 얹은 뒤, '세트 오브 마크(set of marks)' 프롬프팅으로 VLM에 질의한다. 이미지와 마커, 그리고 언어로 된 목표를 주면 VLM이 각 프론티어가 목표에 이를 가능성을 점수화한다. 이어 센서 깊이나 단안·다중 시점 추정으로 이 목표들을 3D로 올리면 자연스럽게 계획 대상이 되고, 장면에 대한 가벼운 장기 기억 역할도 한다. 로봇은 활성 프론티어들의 우선순위를 정하고, 탐색 중 가중치를 갱신하거나 오래된 것을 지우고 새로운 것을 더한다.

성능 면에서 오픈프론티어는 물체 탐색(ObjectNav) 과제에서 조밀한 지도 기반 방법이나 파인튜닝된 모델에 의존하지 않고도 이들과 견줄 만한 결과를 보였다. 서로 다른 시중 VLM을 써도 안정적이었고, 더 다양하고 개방형인 지시도 처리했다. 실제 로봇에 올렸을 때는 VLM이 매 단계의 행동 대신 키프레임을 보고 3D 목표를 내놓아 비동기 실행이 가능했고 실시간 성능도 양호했다.

주요 인사이트

• '지도부터 만든 뒤 이동한다'는 전제를 뒤집어, 카메라 이미지에서 곧바로 이동 단서를 뽑아낸다는 점이 오픈프론티어의 발상 전환이다. 무거운 3D 지도 구축을 항상 요구하지 않는다.
• 인식(비주얼 프론티어 탐지)과 언어 이해(VLM의 목표 판단)를 분리했기 때문에, 프론티어는 그대로 두고 목표 문장만 바꿔 재사용할 수 있어 시스템이 유연하고 확장 가능하다.
• VLM을 파인튜닝하지 않고 '있는 그대로' 쓰면서도 여러 모델에서 성능이 유지된다는 점은, 대규모 도메인 데이터 없이도 범용 내비게이션이 가능함을 시사한다.
• VLM이 행동을 매 스텝 추론하지 않고 3D 목표점만 산출하도록 설계해, 계산이 무거운 추론과 실시간 제어를 분리(비동기화)한 것이 실제 로봇 배치의 열쇠였다.

자주 묻는 질문

관련 AI 소식