피지컬 AI와 VLA 로봇, 데모가 현장에서 통하지 않는 이유와 지금 준비할 3가지

핵심 메시지

• 젠슨 황은 AI가 일자리를 줄이기보다 새로운 산업과 새로운 역할을 만들 것이라며, 지금이 공부하기에도 커리어를 시작하기에도 가장 좋은 시기라고 말했다.
• 피지컬 AI, VLA, 월드 모델, 로봇 행동 데이터셋은 아직 표준이 정리되지 않은 분야라 대기업도 연구소도 스타트업도 지금 함께 배우는 단계다.
• 로봇이 컵 하나를 집는 일에도 무게·마찰·접촉력·토크처럼 카메라로 관측되지 않는 물리량이 숨어 있어, 데모 한 번의 성공과 현장의 매일이 전혀 다른 문제다.
• 텍스트 생성은 틀리면 고치면 되지만 로봇이 잘못 움직이면 물건을 떨어뜨리고 장비를 망가뜨리며 사람에게 위험을 줄 수 있다.
• 기대가 한 번 조정되는 시기가 오더라도 그때는 기술의 실패가 아니라, 실제 구현 문제를 푸는 사람이 중요해지는 시기다.

쉽게 이해하기

영상은 엔비디아 젠슨 황이 스탠퍼드에서 한 짧은 발언에서 출발한다. AI 때문에 개발자와 엔지니어의 역할이 줄어들 것이라는 걱정과 달리, 그는 오히려 더 많은 사람이 일하게 되고 기회도 더 늘어날 것이라고 봤다. 산업혁명 때도 기존 방식으로 하던 일들은 기계로 대체됐지만, 동시에 새로운 산업과 새로운 공장, 새로운 직무와 엔지니어가 생겼다는 비유다.

화자가 가장 인상 깊게 들었다고 꼽은 표현은 '모두가 같은 출발선에 서 있다'였다. 기술 발전이 너무 빨라 이미 늦은 것 아니냐는 생각이 들지만, 피지컬 AI와 로봇 AI 분야는 조금 다르게 봐야 한다는 것이다. VLA, 로봇 파운데이션 모델, 월드 모델, 시뮬레이션 기반 데이터 생성, 온디바이스 로봇 AI 같은 흐름은 모두가 새로 배워가는 단계이기 때문이다.

현실 진단은 냉정하다. 로봇이 사람 말을 알아듣고 물체를 짚고 문을 여는 데모는 많지만, 현장에서 매일 안정적으로 일하는 것은 완전히 다른 문제다. 컵이 비었는지 물이 들었는지에 따라 필요한 힘이 달라지고, 표면이 매끄러운지 손잡이가 있는지, 그리퍼가 어느 각도로 닿는지에 따라 잡는 방식이 달라진다. 사람이 거의 무의식적으로 처리하는 이 모든 것이 로봇에게는 센서·제어·인식·판단의 문제로 바뀐다.

VLA 모델의 한계도 함께 짚는다. VLA는 시각 정보와 언어 명령을 바탕으로 엔드 이펙터 이동량, 관절 명령, 그리퍼 명령처럼 제어에 가까운 출력을 만들어 내는 방향으로 발전하고 있다. 문제는 카메라에 물체의 모양과 위치는 보여도 실제 무게, 마찰, 미끄러짐, 접촉력, 관절에 걸리는 토크는 직접 관측되지 않는다는 점이다. 겉모습이 비슷해도 물성이 다를 수 있고 조명·먼지·진동·센서 노이즈로 인식 자체가 흔들릴 수 있다.

그래서 화자가 제안하는 준비는 세 가지다. 첫째는 논문과 모델을 구조로 읽는 능력으로, 어떤 데이터를 썼고 행동을 어떤 형태로 표현했으며 다른 로봇 플랫폼으로 옮길 수 있는 구조인지를 보는 것이다. 둘째는 키네마틱스·다이나믹스·제어·센서·미들웨어까지 아우르는 로봇 시스템 통합에 대한 이해다. 셋째는 공개된 오픈소스 프로젝트라도 직접 돌려 보며 데이터와 액션, 제어가 어떻게 연결되는지 몸으로 익히는 작은 실습이다.

주요 인사이트

• VLA의 출력이 관절 명령이나 엔드 이펙터 이동량이라면, 그 값이 실제 로봇의 관절 구조에서 실현 가능한지, 필요한 토크가 모터 한계 안에 있는지를 판단하는 로봇공학 기본기가 오히려 더 중요해진다.
• 실패는 모델 내부에서만 생기지 않는다. 카메라 좌표계와 로봇 좌표계가 어긋나 엉뚱한 곳으로 움직이거나, 센서 데이터가 늦게 들어와 제어 타이밍이 밀리거나, 시뮬레이션에서 잘되던 정책이 모터 응답 지연과 마찰 차이로 무너지는 식이다.
• 지금 공개된 VLA 연구는 로봇팔 조작 중심이지만, 같은 구조를 이동 로봇·드론·다수 로봇 협업으로 옮겨 생각하는 사람이 차별화된다. 상위 임무 해석과 역할 분배는 LLM이, 개별 로봇의 상황 인식과 행동 생성은 VLA가 맡는 조합도 가능하다.
• 기대가 꺾이는 시기를 기술의 실패가 아니라 '데모의 시대에서 실제 구현의 시대로 넘어가면서 현장 문제가 선명해지는 과정'으로 본 것이 이 영상의 핵심 관점이다.

자주 묻는 질문

관련 AI 소식