피지컬 AI 로봇 행동 데이터는 어떻게 얻나: DexCap·AirExo·AirExo-2 기술 정리

핵심 메시지

• 언어 모델은 인터넷 텍스트를, 시각 언어 모델은 이미지와 텍스트 쌍을 대규모로 학습할 수 있었지만 로봇에는 그런 대규모 행동 데이터가 없다.
• 실제 로봇을 원격조작해 모으는 데이터는 품질이 좋지만 비싸고 느려서, 최근 연구는 사람이 자연스럽게 작업한 데이터를 로봇용으로 변환하는 쪽으로 움직이고 있다.
• DexCap은 착용형 장비로 손목과 손가락 움직임에 3D 환경 정보까지 함께 기록하고, 역기구학으로 사람 손끝 위치를 로봇 손 구조에 다시 매핑한다.
• AirExo는 양팔 외골격으로 값싼 현장 시연과 비싼 원격조작 데이터를 함께 쓰며, 전자로 큰 전략을, 후자로 세밀한 동작을 학습한다.
• AirExo-2는 이미지·깊이·좌표를 각각 변환해 사람이 수행한 시연을 로봇이 수행한 것처럼 보이는 가짜 로봇 시연으로 바꾼다.

쉽게 이해하기

영상은 그동안 자주 다뤄온 모델 구조 이야기를 잠시 접고 데이터 문제로 방향을 튼다. 로봇이 배워야 하는 것은 장면을 보고 목표를 이해한 뒤 실제로 팔을 움직이고 물체를 잡고 놓는 행동이며, 그래서 학습 데이터에는 영상뿐 아니라 관절 각도와 손의 위치, 힘이나 접촉 정보, 작업 성공 여부까지 함께 담겨야 한다. 이런 데이터를 모으는 일이 피지컬 AI의 가장 큰 병목이라는 것이 이 영상의 출발점이다.

가장 직접적인 방법은 사람이 조이스틱이나 VR 장비, 외골격으로 실제 로봇을 조작하며 기록하는 원격조작이다. 품질은 좋지만 실제 로봇이 있어야 하고 고장 위험을 감수해야 하며 작업 하나하나를 사람이 직접 해야 한다. 그래서 최근 연구들은 반드시 실제 로봇을 움직여야만 로봇용 데이터를 얻을 수 있는지, 사람이 자연스럽게 일한 기록을 로봇이 배울 수 있는 형태로 바꿀 수는 없는지를 묻기 시작했다.

DexCap은 손 조작에 초점을 맞춘 휴대형 모션 캡처 시스템이다. 가슴에 착용하는 장비에 깊이를 재는 라이다 카메라와 손 위치를 추적하는 카메라를 달고, 손가락 움직임은 별도의 장갑으로 기록한다. 사람 손과 로봇 손은 손가락 개수와 관절 범위가 다르므로 그대로 복사할 수 없고, 사람 손끝의 3차원 위치를 기준으로 로봇 관절 값을 다시 계산하는 리타게팅 과정을 거친다. 이때 손끝을 특정 위치로 보내려면 관절을 어떻게 움직여야 하는지 계산하는 역기구학이 쓰인다.

AirExo는 손끝이 아니라 팔 전체의 움직임을 다룬다. 사람은 팔뚝으로 물건을 받치고 팔꿈치로 문을 밀기도 하므로, 이런 동작을 배우려면 말단부 위치만으로는 부족하고 관절 단위 움직임이 필요하다는 문제의식이다. 이 저비용 양팔 외골격은 두 종류의 데이터를 만든다. 사람이 착용한 채 실제 로봇을 조작해 얻는 원격조작 시연과, 로봇 없이 현장에서 작업하며 얻는 시연이다. 값싸고 많은 현장 데이터로 먼저 큰 전략을 배우고 비싸지만 정확한 로봇 데이터로 세밀한 동작을 보정하는 구조다.

AirExo-2는 여기서 한 걸음 더 나아가 도메인 격차 자체를 줄인다. 사람이 착용하고 찍은 영상에는 사람 손과 외골격이 그대로 보이는데, 실제 로봇이 작업할 때 카메라에 보이는 것은 로봇 팔이다. 이 시각적 차이를 없애기 위해 손과 장비 영역을 마스크로 분리해 지우고 배경을 복원한 뒤, 렌더링과 생성 모델로 만든 로봇 이미지를 그 자리에 합성한다. 깊이 정보도 같은 방식으로 사람 영역을 기준 깊이로 채운 뒤 로봇의 깊이를 얹는다.

행동 데이터 자체도 변환된다. 외골격 관절 인코더에서 읽은 값을 순기구학으로 말단부 자세로 바꾸고, 다시 전역 카메라 좌표계 기준의 상태와 행동으로 투영한다. 외골격과 실제 로봇이 같은 좌표 기준을 공유해야 사람이 한 움직임과 로봇이 해야 할 움직임을 같은 자리에서 비교하고 학습할 수 있기 때문이다. 이렇게 만든 데이터는 RISE-2라는 정책 모델 학습에 쓰이며, 이 모델은 2D 이미지에서 뽑은 의미 특징과 포인트 클라우드에서 뽑은 기하 특징을 3D 좌표 기준으로 맞춘 뒤 여러 스텝의 행동을 묶어 생성한다.

영상은 결국 중요한 것이 데이터를 많이 모으는 일이 아니라고 정리한다. 로봇이 실제로 배울 수 있는 형태로 데이터를 정리하고 사람의 행동과 로봇의 행동 사이의 차이를 줄이는 것이 핵심이며, 그래서 피지컬 AI 시대의 데이터 경쟁은 단순한 촬영 경쟁이 아니라 센서와 좌표계 정렬, 리타게팅, 시각 변환, 구간 라벨링이 결합된 파이프라인 경쟁에 가깝다는 것이다.

주요 인사이트

• 로봇 데이터의 비용 구조는 언어 모델과 정반대다. 텍스트는 이미 존재하는 것을 긁어모으는 문제였지만, 행동 데이터는 사람이 시간을 들여 새로 만들어내야 하는 문제다.
• 세 연구가 공유하는 전략은 같다. 비싸고 정확한 데이터와 값싸고 풍부한 데이터를 함께 쓰되, 그 사이의 격차를 별도의 변환 단계로 메우는 것이다.
• AirExo가 내부 관절 구조는 표준화하고 로봇 종류에 따라 연결부만 바꾸도록 설계한 점은, 데이터 수집 장비가 특정 로봇에 종속되지 않게 하려는 선택이다.
• 시각적 격차를 지우는 데 세그멘테이션, 인페인팅, 조건부 이미지 생성 같은 기존 비전 기술이 그대로 동원된다는 점은, 로봇 데이터 문제가 사실상 비전 파이프라인 문제로 번역돼 있음을 보여준다.
• 깊이 정보까지 변환해야 한다는 지적은 중요하다. 이를 놓치면 정책이 로봇 팔이 아니라 사람 팔과 장비의 3차원 형태를 보고 학습하게 된다.

자주 묻는 질문

관련 AI 소식