로봇 학습의 그라운딩 병목이란? 더 큰 VLA와 월드 모델만으로 부족한 진짜 이유 정리

핵심 메시지

• 로봇 학습의 병목은 경험의 양이 아니라, 이미 존재하는 경험을 로봇이 실행할 수 있는 정보로 바꾸는 과정의 부재다.
• 사람의 행동 영상에는 관절 명령, 접촉 정보, 힘의 크기, 성공 여부가 기록돼 있지 않아 그대로는 학습 데이터가 되지 못한다.
• 논문은 이를 그라운딩 병목이라 부르고, 이를 풀기 위한 네 가지 인터페이스를 제시한다.
• 네 인터페이스는 물리 데이터 엔진, 과제 보존 리타게팅, 물리 기반 월드 모델, 과제 조건부 리워드 그라운딩이다.
• 실패했을 때 정책·월드 모델·리타게팅·리워드 중 어느 모듈이 원인인지 가려내는 컴포넌트 단위 크레딧 할당이 자기 개선 루프의 핵심이다.

쉽게 이해하기

세상에는 이미 엄청난 양의 행동 데이터가 있다. 사람은 매일 물건을 집고 도구를 쓰고 옷을 개고 기계를 조작하며, 그 장면을 담은 영상이 인터넷에 끝없이 쌓인다. 시뮬레이션과 실제 로봇 운용에서도 성공과 실패가 계속 만들어진다. 그런데 로봇은 이 경험을 제대로 쓰지 못한다. 2026년 6월 공개된 포지션 페이퍼 「Robots Need More Than VLAs and World Models」는 그 이유를 따진다.

논문 서문은 현재 상황을 이렇게 표현한다. 로봇 공학은 파운데이션 모델의 시대에 들어섰지만, 로봇에게는 아직 인터넷이 없다. 언어 모델은 인터넷의 텍스트를, 시각-언어 모델은 이미지와 설명을 그대로 가져다 학습할 수 있었다. 반면 세상에 널린 행동 경험은 로봇이 곧바로 학습할 수 있는 형태로 기록돼 있지 않다. 성능이 좋은 로봇 정책들은 대부분 사람이 로봇을 원격 조작해 관측과 행동을 정확히 짝지어 놓은 로봇 전용 데이터로 학습됐다. DROID가 7만 6천여 건의 시연을, Open X-Embodiment가 22종 로봇에서 100만 개 이상의 궤적을 모은 것처럼 규모를 키우려는 시도도 있었지만, 이런 데이터는 실제 하드웨어를 써야만 만들 수 있어 인터넷처럼 무한히 늘릴 수 없다.

그래서 사람의 영상으로 눈을 돌린다. 프레임 사이의 변화에서 밀기나 잡기 같은 잠재 행동을 추론할 수 있고, 시작·현재·목표 장면을 비교하면 작업 진행도 신호도 얻을 수 있다. 실제로 정답 행동 라벨 없이 프레임 변화를 잠재 행동 토큰으로 압축한 뒤, 소량의 실제 로봇 데이터로 그 토큰을 엔드 이펙터 제어 명령에 연결하는 연구들이 나왔다. 하지만 잠재 행동은 장면 변화를 압축한 표현일 뿐 아직 관절과 그리퍼를 직접 움직이는 명령이 아니며, 힘과 마찰, 물체의 무게도 알 수 없다. 시뮬레이션과 월드 모델은 경험을 대량으로 만들어내지만, 물체와 행동 공간, 성공 조건이 이미 사람 손으로 정의돼 있다는 전제에서 출발하고, 생성한 미래가 물리적으로 정확한지는 따로 검증해야 한다.

논문이 제시하는 네 가지 인터페이스는 이 간극을 메운다. 첫째, 물리 데이터 엔진은 서로 다른 주기로 들어오는 영상·모션 캡처·촉각 신호를 시간에 맞춰 정렬하고, 접근·접촉·파지·이동·놓기 같은 사건 단위로 쪼갠 뒤 물체 중심 상태, 접촉, 작업 단계, 잠재 행동, 리워드를 뽑아낸다. 논문은 이를 체화된 자동 라벨링이라 부르는데, 장면의 의미를 설명하는 일반 영상 라벨링과 달리 행동을 다시 실행하고 평가하는 데 필요한 정보를 찾아내는 작업이다.

둘째, 과제 보존 리타게팅은 사람의 자세를 그대로 복제하는 대신 작업에 필요한 접촉과 상태 변화를 다른 몸의 로봇이 재현하도록 옮긴다. 다섯 손가락 손과 평행 그리퍼는 같은 자세를 취할 수 없으니, 궤적이 달라도 결과는 같아야 한다는 발상이다. 셋째, 물리 기반 월드 모델은 실행 전에 그 행동이 어떤 접촉을 만들고 물체가 미끄러지거나 넘어질지를 예측한다. 시각적으로 자연스러운 미래보다 성패를 가르는 물리적 결과를 정확히 맞히는 쪽이 중요하다. 넷째, 과제 조건부 리워드 그라운딩은 현재 상태를 목표와 작업 단계와 함께 해석한다. 컵이 테이블 위에 있다는 같은 상태도 '내려놓아라'에서는 성공이고 '집어 들어라'에서는 실패다.

마지막 조각은 순환이다. 컵을 트레이까지 옮겼는데 놓는 순간 넘어뜨렸다면, 에피소드 전체에 실패 하나만 붙이는 대신 어느 단계까지 옳았고 어디서부터 어긋났는지를 구분할 수 있다. 사람이 개입해 자세를 바로잡았다면 그 교정도 학습 신호가 된다. 그리고 실패했을 때 잘못된 행동을 골랐으면 정책을, 결과를 잘못 예측했으면 월드 모델을, 사람의 행동을 잘못 옮겼으면 리타게팅 모델을, 평가를 틀렸으면 리워드 모델을 고쳐야 한다. 이렇게 원인 모듈을 가려내는 컴포넌트 단위 크레딧 할당을 반복하는 구조가 자기 개선 배포 루프다.

주요 인사이트

• 이 논문은 새로운 실험 결과나 완성된 아키텍처를 내놓는 연구가 아니라 앞으로의 연구 방향을 제안하는 포지션 페이퍼다. 따라서 네 인터페이스를 물리 지능의 완성형이라고 보기는 어렵지만, 문제 제기 자체는 무겁다.
• '로봇에게는 아직 인터넷이 없다'는 표현의 요점은 영상이 부족하다는 것이 아니라, 존재하는 영상이 로봇이 곧바로 학습할 수 있는 형태로 기록돼 있지 않다는 데 있다.
• 여러 데이터셋의 파일 형식과 변수 이름을 통일해도 문제는 남는다. 로봇 데이터는 애초에 특정한 몸을 기준으로 만들어졌고, 같은 컵을 집는 행동이라도 7축 팔과 휴머노이드가 쓰는 관절과 제어 명령은 전혀 다르기 때문이다.
• 월드 모델이 모든 미래를 똑같은 정밀도로 예측할 필요는 없다. 컵을 집을 땐 파지 안정성이, 천을 접을 땐 변형과 접촉점이 중요하고 배경 무늬는 성패와 무관하다. 예측의 정밀도를 과제에 맞춰 배분하는 것이 관건이다.
• 실패를 한 덩어리로 취급하지 않는 것이 데이터 효율을 크게 바꾼다. 마지막 단계만 실패한 실행에 실패 라벨 하나만 붙이면 앞부분의 성공적인 행동까지 나쁜 데이터로 버려진다.

자주 묻는 질문

관련 AI 소식