체화된 AI와 로봇 조작: 지텐드라 말릭이 말하는 데이터·힘·다지 손의 병목과 학습 대안

핵심 메시지

• 로봇의 세 가지 핵심 문제는 내비게이션·보행·조작이며, 말릭은 내비게이션은 거의 끝났고 보행도 진전이 크지만 손 조작은 아직 갈 길이 멀다고 본다.
• 조작이 어려운 근본 원인은 데이터 부족이다. 필요한 데이터는 로봇의 '몸' 안에서 얻는 감각-운동 궤적인데, 언어·이미지처럼 인터넷에 널려 있지 않다.
• 행동은 목표(아리스토텔레스)·궤적(유클리드)·힘(뉴턴)의 세 층위로 나뉘며, 언어와 LLM은 목표 층위엔 유용해도 실제 움직임과 힘 층위는 채워 주지 못한다.
• 원격조작·사람 영상·시뮬레이션이라는 표준 데이터 수집법은 각각 한계가 있고, 말릭은 '아이가 부모를 보고 제 몸으로 시행착오하며 배우는' 방식을 대안으로 제시한다.
• 촉각과 힘 감지는 선택이 아니라 필수다. 시각+고유수용감각+촉각을 함께 쓰면 성능이 실측치에 근접하고, 감지가 좋아질수록 필요한 시연 수도 크게 줄어든다.

쉽게 이해하기

지텐드라 말릭은 로봇공학을 '지각을 행동으로 잇는 문제'로 정의하며, 대다수가 동의하는 핵심 과제로 내비게이션(길찾기)·보행(이동)·조작(손으로 다루기)을 든다. 그는 강연 대부분을 가장 덜 풀린 조작 문제에 할애한다.

내비게이션에서는 '에어비앤비 테스트'를 소개한다. 아무 정보 없는 숙소에 로봇을 내려놓고 '텔레비전을 찾아라' 같은 과제를 주면, 로봇이 돌아다니며 사물을 기록한 부분적 의미 지도를 만들어 목표를 찾는다. 시뮬레이션에서 여러 가정집 환경으로 미리 학습해 부엌이 있을 법한 경로를 효율적으로 탐색한다. 그는 이 분야가 '거의 끝났다'며, 성능을 끌어올리는 열쇠는 통짜 학습이 아니라 모듈별 최고의 인식 시스템을 쓰는 접근이라고 말한다.

보행에서는 시뮬레이션에서만 학습한 정책을 실제 세계에 '제로샷'으로 옮겨 샌프란시스코의 29%, 41% 급경사를 걷게 한 결과를 보여 준다. 자기지도학습(감각-운동 시퀀스의 다음 토큰 예측)과 강화학습을 결합했고, 보행 역시 상당한 진전을 이뤘다고 평가한다.

반면 조작은 데이터가 근본 병목이다. 언어 모델은 한 아이가 평생 듣는 말보다 약 1만 배 많은 데이터로 학습하지만, 로봇 조작에 필요한 감각-운동 궤적은 로봇의 몸 안에서만 얻을 수 있어 그런 여유가 없다. 그는 원격조작(사람이 로봇을 인형처럼 조종—촉각 피드백이 없어 느리고 부자연스러움), 사람 영상(몸이 달라 생기는 '체화 격차'와 접촉 힘 정보 부재), 시뮬레이션(현실 격차는 공학으로 극복 가능하나 조작용 보상 함수 설계가 지독히 어려움) 세 가지를 차례로 비판한다.

그의 대안은 튜링의 통찰—'어른의 지능을 그대로 흉내 내지 말고 아이의 지능을 만들어 교육하라'—에 기댄다. 아이는 부모를 관찰해 힌트만 얻고, 접촉과 힘은 결국 제 작은 손으로 시행착오하며 익힌다. 이를 로봇에 옮기면 유튜브의 방대한 사람 영상에서 행동을 배우고(3D 복원 후 로봇 몸으로 리타깃팅), 나머지는 물리 시뮬레이터 안 연습으로 채운다. 그는 VLM·VLA에만 몰두하는 흐름을 '문제의 핵심을 비켜난 것'이라 지적하며, 진짜 난제는 접촉·힘·궤적, 즉 유클리드와 뉴턴의 층위라고 결론짓는다.

주요 인사이트

• 내비게이션 시스템은 완전한 지도를 만들지 않고 '필요한 만큼만' 부분적 의미 지도를 만든다는 점에서 사람의 방식과 닮았고, 같은 목표를 다시 물으면 기억을 활용해 더 효율적으로 움직인다.
• 말릭은 '사람다운 물리 지능에는 다지(多指) 손이 필요하다'를 자신의 신조로 내세운다. 값비싼 물건을 다룰 때 두 점으로 집는 그리퍼로는 실패율이 높기 때문이라는 것이다.
• 원격조작 시연 영상이 대개 5배속으로 편집되는 이유는, 촉각 없이 시각만으로 로봇을 조종하는 사람이 느리고 힘겹게 움직이기 때문이라고 그는 꼬집는다.
• 시뮬레이션의 '현실 격차'는 더 많은 공학으로 메울 수 있는 문제지만, 조작 과제의 강화학습 보상 함수는 단계마다 항을 손으로 설계해야 해 항이 150개까지 불어나기도 한다—이것이 많은 이가 시뮬레이션을 포기하는 진짜 이유다.
• 단일 이미지에서의 3D 복원을 '다시점 기하'가 아니라 '인식에 의한 재구성'으로 접근한다. 백만 개의 사물을 복원해 두면 새 사물은 기존 사물들의 조합처럼 다뤄진다는 발상이다.
• 시각만 쓰면 성능이 85점에 그치지만 촉각·고유수용감각을 더하면 실측치에 근접하며, 이 15점 차이가 '실제로 쓸 수 있느냐'를 가른다.

자주 묻는 질문

관련 AI 소식