파운데이션 모델 로봇 학습, 행동 예측·3D 입력·계층 설계로 범용 로봇에 다가서다

핵심 메시지

• 공장의 전문가 로봇은 환경이 조금만 달라져도 무너지는 반면, 집과 병원에서 일할 범용 로봇은 처음 보는 물건과 처음 받는 지시까지 처리해야 한다.
• 행동을 위한 특수 토큰이나 별도 신경망을 붙이지 않고 관절 값을 그냥 숫자 텍스트로 뱉게 한 가장 단순한 설계가, 대규모 행동 데이터로 사전학습한 최신 모델들을 앞섰다.
• 3D 점군을 직접 처리하는 대신 설계 도면의 정투상도처럼 위·앞·옆에서 렌더링한 이미지로 바꿔 넣으면, 기존 비전 모델을 그대로 쓰면서 시연 10회만으로 밀리미터 수준 작업까지 학습했다.
• 거대 언어모델이 계산기와 검색엔진을 도구로 쓰듯, 상위 모델이 대략적인 2D 경로를 그리고 하위 전문가 모델이 정밀 동작을 맡는 계층 구조가 일반화와 정밀도를 동시에 확보하는 길로 제시됐다.
• 발표자는 지금의 시스템이 여전히 연구실 수준이라며, 3D 추론·아키텍처·데이터라는 세 가지 난제를 풀어야 로봇이 실제 가정으로 들어올 수 있다고 진단했다.

쉽게 이해하기

미국 시카고의 연구기관 TTIC 강연에 선 엔비디아 수석 연구과학자 앙킷 고얄(Ankit Goyal)은 로봇을 두 부류로 나누며 발표를 시작했다. 하나는 공장 바닥의 전문가 로봇으로, 환경이 완전히 통제되고 동작이 미리 프로그래밍돼 있어 초인적인 정밀도로 같은 일을 반복한다. 다른 하나는 우리 집과 병원에서 사람 곁에서 일하는 범용 로봇인데, 모든 집이 다르고 모든 병원이 제각각이라 고정된 프로그램으로는 감당할 수 없다. 언어와 이미지 분야에서 파운데이션 모델이 놀라운 일반화를 보여준 만큼, 그 힘을 로봇의 뇌로 옮겨올 수 있느냐가 그의 연구 질문이다.

첫 번째 질문은 '텍스트를 예측하도록 배운 모델에게 어떻게 물리적 행동을 시킬 것인가'다. 기존 방식은 연속적인 관절 값을 일정 구간으로 잘라 특수 토큰으로 만들어 넣거나 모델 뒤에 행동 전용 신경망을 붙이는 두 갈래였는데, 앞은 해상도가 낮아 정밀 제어가 어렵고 사전학습된 어휘를 흐트러뜨리며 뒤는 신경망 크기와 학습 방법이라는 설계 부담을 새로 만든다. 고얄이 내놓은 답은 허탈할 만큼 단순한데, 행동을 그냥 숫자 텍스트로 쓰게 하는 것이다. 숫자는 이미 모델의 어휘에 있어 어휘를 건드릴 일이 없고 자릿수를 늘리면 해상도 문제도 사라지며 기존 미세조정 방법을 그대로 쓸 수 있는데, 시각언어모델을 하나도 고치지 않은 이 방식이 대규모 행동 데이터로 미리 학습한 유명 모델들보다 좋은 성적을 냈다.

두 번째 질문은 3D다. 로봇은 3차원 세계에서 움직이고 깊이 센서를 갖고 있지만, 파운데이션 모델은 인터넷의 2D 이미지로 배웠다. 공간을 작은 정육면체로 쪼개는 방식은 해상도를 두 배로 올리면 계산량이 여덟 배가 되고, 점군을 그대로 넣으려면 전용 아키텍처가 필요하다. 그의 우회로는 공학 도면의 정투상도였다. 실제 카메라가 아니라 수학적 렌더링으로 위·앞·옆에서 본 이미지를 만들어 넣으면, 비전 모델의 발전을 그대로 얻어 탈 수 있다는 것이다.

세 번째 질문은 '모든 것을 하나의 거대한 신경망에 맡길 것인가'다. 언어모델도 컴파일러와 검색을 외부 도구로 부른다. 로봇공학 역시 모션 플래너와 정밀 제어기라는 검증된 자산을 수십 년 쌓아왔다. 그래서 상위 시각언어모델이 이미지 위에 그리퍼가 지나갈 대략적인 2D 경로를 그리면, 하위 전문가 모델이 3D 관측과 그 경로를 받아 정밀한 동작을 만든다. 이 구조 덕분에 시뮬레이션에서만 배운 작업이 실제 사진에서, 심지어 손으로 그린 스케치에서도 통했다.

마지막으로 그는 남은 과제를 셋으로 정리했다. 언어모델의 사고 사슬처럼 로봇에도 추론이 필요한데, 상자에 물건을 채워 넣는 일을 생각하면 그 추론의 매체는 3D 기하여야 한다. 아키텍처 측면에서는 의미 이해에 강한 시각언어모델과 물리 변화에 강한 영상 생성 모델을 합치고, 지금은 아예 빠져 있는 힘·촉각 같은 감각을 넣어야 한다. 데이터는 사람의 영상에서 손가락 움직임과 접촉을 역으로 복원하는 방향과, 물리 정확도가 개선되는 시뮬레이션 두 갈래에 걸려 있다.

주요 인사이트

• 이 강연에서 가장 반복되는 교훈은 '덜 고치는 설계가 이긴다'는 것이다. 어휘를 바꾸지 않고, 새 신경망을 붙이지 않고, 학습 방식을 그대로 두었을 때 오히려 사전학습에 담긴 능력이 온전히 넘어왔다.
• 성능은 공짜가 아니다. 행동 하나에 숫자 네 개를 써야 한다면 추론이 그만큼 느려진다. 발표자는 이를 인정하면서도, 확산 방식의 행동 헤드는 속도 대신 언어 이해력을 상당히 잃는다는 점을 반대급부로 지적했다.
• 계층 구조의 진짜 이점은 성능 수치가 아니라 개선의 독립성이다. 상위 계획 모델만 좋아져도 하위 제어를 건드리지 않은 채 전체가 나아지고, 상위 모델은 로봇 데이터가 아닌 사람 영상으로도 학습시킬 수 있다.
• 청중과의 문답은 벤치마크의 한계를 드러냈다. 표준 시뮬레이션 벤치마크에서는 물체 위치가 몇 센티미터밖에 변하지 않아, 진짜 '처음 보는 상황'을 재는 새로운 평가 도구가 필요하다는 지적이 나왔다.
• 로봇 분야의 병목은 모델이 아니라 데이터다. 인터넷 규모의 행동 데이터가 존재하지 않기 때문에, 사람이 찍은 영상에서 행동을 되짚어 뽑아내는 '역방향 로봇공학'과 시뮬레이션이 유력한 후보로 남는다.

자주 묻는 질문

관련 AI 소식