VLA 로봇이 물리 세계를 배우는 법: 촉각·월드모델·디지털 트윈 최신 연구 정리

핵심 메시지

• 시각과 언어만으로는 로봇이 실제 물체를 잘 다루기 어렵고, 힘·촉각·접촉·미끄러짐 같은 물리 감각 데이터가 함께 필요하다.
• 로봇이 직접 물리 데이터를 모으는 비용이 크기 때문에, 사람이 촉각 글러브를 끼고 작업하는 시연에서 접촉력과 손동작을 함께 계측해 로봇 정책으로 옮기려는 연구가 등장한다.
• 월드 파운데이션 모델(WFM)은 방대한 영상으로 세상의 시각적·동역학적 패턴을 배운 뒤 자율주행·조작·보행 등 분야별로 특화되고, 실제 시스템이 만든 데이터로 다시 개선되는 순환 구조를 이룬다.
• '미래를 먼저 시뮬레이션'하는 접근은 디지털 트윈이 후보 행동의 결과를 미리 보여주고, VLM은 어떤 미래가 명령에 맞는지 고르기만 하게 해 물리 추론 부담을 덜어준다.
• 생성된 영상이 그럴듯해도 곧바로 실행 가능한 행동은 아니며, 질량·마찰·중력·충돌을 부여한 물리적 접지(그라운딩)가 있어야 로봇이 실제로 물체를 움직일 수 있다.

쉽게 이해하기

이 영상은 시각·언어를 행동으로 잇는 VLA(Vision-Language-Action) 모델이 실제 현장 로봇으로 확장될 때 부딪히는 병목, 즉 '물리 감각의 부족'을 다룬 최신 논문들을 이어서 정리한다. 앞선 연구들이 공통적으로 짚는 지점은, 로봇이 현장에서 물체를 제대로 다루려면 시각과 언어만으로는 부족하고 힘·촉각·접촉·미끄러짐 같은 물리량이 필요하다는 것이다.

문제는 이런 물리량 데이터를 로봇이 직접 모으려면 수천~수만 번의 시행이 필요해 비용이 크고, 그 과정에서 물체가 부서지거나 로봇이 손상될 수 있다는 점이다. 반면 사람은 컵을 깨지지 않게 잡고 케이블을 힘 조절해 꽂는 등 이미 이런 작업을 잘한다. 그래서 한 갈래의 연구는 사람이 촉각 글러브를 끼고 자연스럽게 작업하는 동안 접촉력을 재고, 카메라로 손 움직임을 추정한 뒤, 그 관계를 로봇의 힘-민감 조작 정책으로 옮기려 한다.

다른 갈래는 월드 파운데이션 모델(WFM)이다. 영상에서 소개하는 코스모스 계열 모델은 다양한 세계의 비디오로 시각적·동역학적 패턴을 폭넓게 학습한 범용 모델이며, 힘 값 자체가 아니라 물체 이동·장면 변화 같은 시각적 변화 패턴을 배운다. 이렇게 사전학습된 WFM은 자율주행·조작·보행·휴머노이드 등 분야별 커스텀 데이터로 특화되고, 배포된 시스템이 다시 데이터를 만들어 모델을 개선하는 '데이터 루프'를 형성한다.

세 번째 갈래는 '미래를 먼저 보여주는' 방식이다. 기존 VLM 기반 제어는 현재 관측 위에 후보 행동(값 지도·키포인트·화살표)을 얹어 보여주고, 그 행동을 하면 미래에 무슨 일이 생길지 VLM이 스스로 상상하게 했다. 대신 인터랙티브 디지털 트윈이 후보 행동들의 결과를 미리 시뮬레이션해 결과 이미지를 만들고, VLM은 어떤 미래가 명령에 가장 잘 맞는지 '판단'만 하게 역할을 나눈다.

마지막으로 소개하는 접근은 비디오 생성 모델로 작업의 시각적 미래를 만든 뒤, 그 영상에서 3D 구조와 메시를 복원하고 질량·마찰 같은 물리 속성, 중력 방향, 충돌을 정리해 '물리적으로 상호작용 가능한 장면'을 만든다. 그런 다음 로봇 몸체가 환각처럼 왜곡될 수 있는 영상 대신 '물체의 움직임'을 목표로 삼는 오브젝트 센트릭 잔차(residual) 강화학습으로 실제 실행 가능한 행동을 보정 학습한다. 핵심은 생성 영상과 실제 행동 사이에 반드시 물리적 접지가 필요하다는 것이다.

주요 인사이트

• 데이터 수집의 관점을 뒤집는다: 로봇에게 값비싼 시행착오를 시키는 대신, 이미 물리 작업을 잘하는 사람의 접촉력과 손동작을 촉각 글러브·카메라로 계측해 학습 원천으로 삼는다.
• WFM은 힘·토크 값을 직접 배우는 것이 아니라 영상 속 시각적·동역학적 변화 패턴을 배운다는 점이 중요하다. 그래서 범용으로 사전학습한 뒤 분야별로 다시 특화하는 구조가 성립한다.
• VLM에 물리 예측까지 떠넘기지 말고, 시뮬레이터가 미래를 계산하고 VLM은 선택만 하도록 역할을 분리하면 복잡한 접촉·동역학 추론의 약점을 우회할 수 있다.
• 생성 영상 속 로봇 몸체는 환각이 섞일 수 있어 그대로 따라 하기 어렵지만, 물체의 최종 움직임은 더 안정적인 목표가 된다는 '오브젝트 센트릭' 발상이 핵심이다.
• 앞으로 로봇 파운데이션 모델의 가장 큰 병목은 데이터의 양 못지않게 '물리 감각과 미래 예측 능력'일 수 있다는 것이 영상의 문제의식이다.

자주 묻는 질문

관련 AI 소식