로봇 조작 학습 UMI: 손에 쥐는 그리퍼로 로봇 시연 데이터를 모으는 방법과 한계 극복

핵심 메시지

• 겉보기에 단순한 설거지조차 변형체·관절체·유체를 이해하고 '깨끗함'의 의미와 멈출 시점을 판단해야 하는 복잡한 조작 문제다.
• UMI(Universal Manipulation Interface)는 사람이 손에 쥐고 다니며 로봇 학습용 시연 데이터를 모으는 휴대용 그리퍼로, 설계가 오픈소스로 공개돼 있다.
• 로봇을 데이터 수집 루프에 넣는 원격조작(teleoperation)은 시작은 쉽지만 실험실에 묶여 확장이 어렵다 — 발표자는 이를 '로보틱스의 설탕'에 비유한다.
• 마이크(접촉음), 초소형 힘·토크 센서 CoinFT, 외골격형 손 등으로 UMI의 한계를 보완하고, 저수준 제어기가 고수준 정책에 되먹임하는 '체화 인식 확산 정책'으로 서로 다른 로봇에 맞춘다.
• 로봇 데이터의 병목은 양이 아니라 재사용성이며, UMI 데이터 허브에는 이미 100만 건이 넘는 오픈소스 시연이 쌓였다.

쉽게 이해하기

발표자는 접시를 닦고 수도꼭지까지 잠그는 설거지 로봇을 예로 들며, 일상적으로 보이는 동작이 사실은 매우 복잡한 조작 문제임을 짚는다. 로봇은 변형되는 물체, 관절이 있는 물체, 유체를 모두 이해해야 하고 '깨끗하다'는 것이 무엇이고 언제 멈춰야 하는지 같은 상위 의미까지 판단해야 한다. 이런 일을 매번 안정적으로 해내는 프로그램을 짜는 일은 대단히 어렵다.

이 문제를 풀기 위한 도구가 UMI(Universal Manipulation Interface)다. 손에 쥐고 다니는 작은 그리퍼로, GoPro 카메라를 달아 시각 관측을 저장하고 비주얼 SLAM으로 카메라 움직임을 추적해 로봇이 3D 공간에서 어떻게 움직여야 하는지 대응 동작을 얻는다. 관측과 동작의 입출력 쌍으로 정책을 학습시키는 것이다. 설계는 오픈소스로 공개돼 여러 형태로 개량됐지만, '웨어러블 장치'와 '엔드이펙터(말단) 중심'이라는 두 원칙은 공통된다. 덕분에 훈련받지 않은 사람도 직관적으로, 다양한 환경에서 데이터를 모을 수 있다.

UMI는 원격조작이나 유튜브 영상 학습과 다르다. 원격조작은 수집 루프에 실제 로봇이 필요해 특정 환경·로봇 몸체에 묶여 확장이 어렵다 — 발표자는 '시작은 쉬워 중독되지만 장기적으로 건강하지 않은 설탕'에 비유한다. 반대로 사람 영상만 보고 배우는 방식은 몸체 격차가 크고 접촉·힘 같은 결정적 정보를 놓친다. UMI는 웨어러블 그리퍼로 이 격차를 줄이면서 접촉과 힘 같은 핵심 정보를 자연스럽게 담아, 문제를 지나치게 단순화하지 않으면서도 실용적으로 만든다.

발표자의 연구실은 UMI의 한계를 하나씩 보완해 왔다. 우선 접촉 정보를 위해 촉각센서 대신 3달러짜리 마이크를 붙였다. 소리만으로 접촉 순간·대상·표면 재질(벨크로 양면 구분 등)을 잡아내고 GoPro에 꽂으면 영상과 자동 동기화된다. 다만 환경·모터 소음 문제는 정교한 신호처리보다 무작위 소음을 더해 학습시키는 데이터 증강이 훨씬 잘 통했다. 이어 미국 동전 크기의 초소형 힘·토크 센서 CoinFT(제작비 약 10달러)를 손가락마다 달고, 위치뿐 아니라 '가상 목표'와 컴플라이언스 방향을 함께 예측하는 적응형 컴플라이언스 정책으로 힘 외란에 강하게 만들었다. 다지(多指) 손을 위해서는 사람 손 동작을 로봇 손 범위로 제한하는 외골격에 관절 인코더와 촉각센서를 달아, 리타기팅 없이 데이터를 옮길 수 있게 했다.

가장 큰 한계였던 '로봇 몸체 제약 무시'는 저수준 제어기가 고수준 정책에 되먹임하는 양방향 통신으로 풀었다. CMU와 공동 개발한 '체화 인식 확산 정책'은 다양한 조작 전략을 생성하고, 추론 중 각 디노이징 단계에서 특정 로봇의 제약에 맞는 궤적 쪽으로 생성을 유도한다. 재학습 없이 고정 팔, 드론 등 제약이 다른 로봇에 맞출 수 있다. 스탠퍼드에서 모은 데이터로 CMU의 드론에 바로 배치하거나, 육상에서 모은 데이터를 수중에 옮기는 극단적 일반화도 보였다. 발표자는 로봇 데이터의 병목이 '양'이 아니라 '재사용성'이라며, 누구나 자신의 작업에 맞는 공유 가능한 데이터를 모으는 UMI 데이터 허브에 이미 100만 건 넘는 오픈소스 시연(대부분 외부 기여)이 쌓였다고 밝혔다.

주요 인사이트

• 정보를 더 넣는다고 늘 좋아지지 않는다 — 오디오를 그냥 추가하면 성능이 떨어지고, 무작위 소음 증강을 함께 해야 향상됐다. 한 입력 모달리티가 분포를 벗어나면 전체 입력이 분포를 벗어나기 때문이다.
• 3달러짜리 마이크가 5천 달러대 고해상도 촉각센서로도 잡기 어려운 벨크로 양면 구분 같은 미세한 접촉·재질 정보를 소리로 잡아낸다.
• 위치만 예측하는 정책은 힘 외란에 약하다 — 가상 목표와 컴플라이언스 방향을 함께 예측하고 저수준 제어기가 고주파로 힘 피드백을 반영하면 견고해진다.
• 추론 시점의 유도(guidance)만으로 서로 다른 로봇 제약에 맞추므로, 하나의 조작 정책을 재학습·재수집 없이 팔·드론 등 다양한 몸체에 옮길 수 있다.
• 픽앤플레이스 로봇은 일주일이면 GPT-3 학습셋보다 큰 데이터를 만들지만 작업·로봇이 바뀌면 쓸모가 없다 — 진짜 문제는 데이터의 재사용성이다.

자주 묻는 질문

관련 AI 소식