지텐드라 말리크 CMU 강연: 로봇 조작은 왜 안 풀리나, 아리스토텔레스·유클리드·뉴턴 세 층위와 촉각 센싱

핵심 메시지

• 로보틱스를 내비게이션·보행·조작으로 나누면 앞의 둘은 상당히 풀렸다. 지도 없이 낯선 숙소에 들어가 목표 물건을 찾아가는 시스템이 작동했고, 휴머노이드는 경사 41%의 샌프란시스코 언덕을 학습 범위 밖에서도 걸어 올랐다.
• 조작은 다르다. 발표자는 매주 소셜미디어에서 로보틱스가 해결되는 것처럼 보이지만 실제로는 멀었다고 못박으며, 다섯 살 아이가 하는 일이 체스보다 어렵다는 모라벡의 역설을 그 배경으로 든다.
• 로봇 과제는 목표와 계획, 4D 시공간 궤적, 접촉과 힘이라는 세 층위로 봐야 한다. 각각 아리스토텔레스·유클리드·뉴턴의 영역이며, 언어 모델은 첫 층위만 도와준다.
• 언어는 압축 수단이라 물리적 세부를 잃는다. '집어 올리다' 한 단어에 동전·젓가락·포도·물병을 집는 전혀 다른 동작이 뭉뚱그려져 있어, 비전-언어 모델에 행동을 덧붙이는 방식으로는 부족하다는 것이 발표자의 입장이다.
• 대안은 아이가 배우는 방식이다. 사람이 하는 것을 보고(실제) 자기 몸으로 시뮬레이터에서 반복한 뒤(시뮬레이션) 현실에 내보내는 구조이며, 여기에 촉각 센싱이 결합돼야 한다는 것이 결론이다.

쉽게 이해하기

컴퓨터 비전을 경험적 연구의 시대로, 다시 딥러닝의 시대로 이끌었다는 평을 받는 버클리의 지텐드라 말리크 교수가 CMU 로보틱스 세미나에서 현재 로봇 학습의 지형도를 그렸다. 그는 로보틱스를 '물리 세계에서 지각과 행동을 잇는 일'로 정의하고, 컴퓨터 비전이 인간 시각을 기준으로 문제를 정했듯 동물이 손발과 몸으로 할 수 있는 일 전체를 기준으로 삼자고 제안한다.

먼저 성과다. 내비게이션에서는 사전 지도 없이 낯선 숙소에 들어가 '화분으로 가라', '이 사진 속 싱크대로 가라' 같은 목표를 연달아 수행하는 시스템을 200개가 넘는 물체로 검증했다. 흥미로운 발견은 시뮬레이션에서 통째로 학습한 종단간 정책이 가장 좋지는 않았다는 점이다. 시각은 대규모 데이터로 학습된 파운데이션 모델에 맡기고, 시뮬레이션으로는 '집이 대체로 어떻게 생겼는지'에 기반한 영리한 탐색만 학습시키는 모듈형 구조가 이겼다. 보행에서는 휴머노이드가 버클리 인근 등산로를 두 시간 걷고, 학습 시 본 적 없는 경사 41%의 도로를 올랐다.

조작이 남았다. 발표자는 여기서 데이터 효율 문제를 꺼낸다. 아이는 한 달에 백만 단어 정도를 듣고 열 살이면 1억 단어 남짓을 접하지만, 프런티어 언어 모델은 그보다 만 배 많은 규모를 먹는다. 언어 이해가 풀린 것은 분명하지만 만 배의 낭비를 대가로 풀렸다는 지적이고, 데이터를 그런 식으로 쏟아부을 수 없는 로보틱스에서는 이 비효율이 그대로 벽이 된다는 것이다.

그래서 그는 로봇 과제를 세 층위로 분해한다. 오믈렛을 만들라는 지시를 단계로 쪼개는 일은 언어 모델이 잘한다. 하지만 '달걀을 그릇에 깨 넣어라'를 실제 움직임으로 옮기는 순간 언어는 도움이 되지 않는다. 움직임은 4D 시공간의 궤적이고, 언어는 그 세부를 버리도록 진화한 압축 수단이기 때문이다. 마지막 층위는 접촉과 힘이다. 물건을 든다는 것은 중력을 이길 만큼의 힘과 미끄러지지 않을 만큼의 마찰을 다루는 일이며, 조작은 결국 세계를 바꾸는 일이므로 뉴턴의 영역을 피할 수 없다. 그는 지능을 언어와 등치하는 오늘날의 분위기를 '언어 제국주의'라 부르며, 지능의 진화사를 24시간으로 압축하면 언어는 마지막 몇 분에 불과하다고 덧붙인다.

데이터를 모으는 세 가지 방식에는 각각 한계가 있다. 원격 조작은 사람과 로봇이 한 몸처럼 움직이는 방식이라 사람 시각의 200밀리초 지연을 그대로 물려받고, 수집 환경의 다양성도 부족하다. 사람 영상은 다양성은 풍부하지만 신체 구조가 달라 재타깃팅이 필요하고 접촉힘 정보가 아예 없다. 시뮬레이션은 보행에서 성공했지만 조작에서는 보상 함수를 항목 수십 개와 계수로 일일이 지정해야 해 사실상 막힌다. 그가 제시하는 길은 아이의 학습이다. 아이는 아버지가 설거지하는 것을 눈으로 보고(그때는 접촉힘을 알 수 없다), 나중에 자기 손으로 흉내 내며 비로소 힘을 느낀다. 이를 그대로 옮긴 것이 '실제에서 관찰하고 시뮬레이션에서 자기 몸으로 익힌 뒤 실제로 내보내는' 구조이며, 이미 시각 기반 보행에서 대학원생들의 계단 오르내리기 영상을 3D로 복원해 시뮬레이터에 넣고 학습시키는 방식으로 구현해 보였다. 조작으로 확장하려면 손과 물체의 4D 궤적 복원이 필요한데, 그는 이 컴퓨터 비전 문제가 1년 안팎이면 해결 수준에 도달할 것으로 본다.

주요 인사이트

• 평행 그리퍼 논쟁을 그는 화질에 비유한다. 16×16 화소로도 링컨을 알아볼 수 있지만 아무도 그 화질의 카메라를 쓰지 않듯, 두 손가락으로 되는 작업이 있다고 해서 그것이 충분한 선택지가 되는 것은 아니다.
• 여러 신체에 두루 통하는 하나의 정책을 만드는 목표에 그는 회의적이다. 몸이 다르면 최적의 움직임도 다르므로, 공유해야 할 것은 정책이 아니라 신체마다 컴파일되는 학습 방법론이라는 관점이다.
• 촉각은 취향 문제가 아니라 성능 문제로 제시됐다. 물체 회전 과제에서 관절각만, 시각만, 촉각만 쓴 경우보다 시각과 촉각을 함께 쓴 쪽이 뚜렷하게 나았다.
• 복잡한 과제 하나를 시연하기보다 기본 동작들을 높은 신뢰도와 일반성으로 해내고 조합하자는 것이 그의 연구 방향이다. 다섯 살 아이가 아는 동사 수준의 원자적 기술 목록을 상정한다.
• '아이처럼 배우게 하자'는 구상의 빈틈도 청중이 짚었다. 아이에게는 진화가 심어 준 커리큘럼과 보상이 이미 있고, 기계에서는 당분간 사람이 그 부분을 설계해 넣어야 한다는 것이 발표자의 답이다.

자주 묻는 질문

관련 AI 소식