VLA 모델 비교 정리: 엔비디아 GR00T, 구글 제미나이 로보틱스, 피지컬 인텔리전스 파이

핵심 메시지

• 세 그룹 모두 '상위에서 이해하고 계획한 뒤 하위에서 행동을 만든다'는 이원 구조로 수렴했지만, 그 경계를 어디에 긋는지는 서로 다르다.
• 엔비디아 GR00T는 웹 데이터·사람 영상·시뮬레이션·실기체 데이터를 피라미드로 쌓고, 몸체별 인코더와 디코더만 분리해 여러 로봇을 한 모델로 다룬다.
• 구글 제미나이 로보틱스는 무거운 백본을 클라우드에, 빠른 액션 디코더를 로봇에 두어 약 250밀리초의 지연으로 50헤르츠 제어를 맞췄다.
• 피지컬 인텔리전스의 파이 계열은 행동 학습이 이미 배운 언어·시각 지식을 훼손하지 않도록 그레이디언트 흐름을 끊는 전략을 핵심으로 삼는다.
• 앞으로 경쟁력을 가르는 것은 모델 구조보다 행동 데이터가 없는 자료까지 학습 자원으로 바꾸고, 한 로봇에서 배운 것을 다른 로봇으로 옮기는 능력이다.

쉽게 이해하기

로봇 개발자가 운영하는 이 채널은 피지컬 AI 분야에서 가장 많이 언급되는 세 계열의 VLA(비전-언어-행동) 모델을 공개 논문과 기술 보고서 기준으로 나란히 비교한다. 엔비디아의 GR00T, 구글 딥마인드의 제미나이 로보틱스, 그리고 피지컬 인텔리전스의 파이 시리즈다. 세 그룹 모두 어떤 환경에서든 스스로 판단해 움직이는 범용 로봇이라는 같은 목표를 두고 있지만, 로봇의 '뇌'를 설계하는 철학은 서로 다르다는 것이 영상의 출발점이다.

엔비디아 GR00T의 문제의식은 데이터다. 인터넷에는 텍스트와 이미지가 넘치지만 휴머노이드의 실제 동작 데이터는 비싸고 희소하다. 그래서 GR00T N1은 학습 데이터를 피라미드로 쌓는다. 맨 아래에는 웹의 비전-언어 데이터와 사람의 1인칭 영상이, 가운데에는 시뮬레이션과 생성 기법으로 만든 궤적이, 맨 위에는 실제 로봇 원격조작 데이터가 놓인다. 구조는 이중 시스템이다. 시각과 언어를 해석하는 상위 모듈이 시스템 2, 그 해석을 받아 모터 명령을 만들어내는 디퓨전 트랜스포머가 시스템 1이다. 여기서 눈여겨볼 디테일은 상위 모델의 마지막 층이 아니라 중간층 표현을 가져다 쓰는 편이 더 빠르고 성능도 좋았다는 대목인데, 마지막 층은 언어로 정리하는 데 최적화된 반면 중간층에는 물체 위치나 공간 관계 같은 행동에 직접 쓰이는 단서가 더 풍부하게 남아 있기 때문이다.

성능 근거도 함께 짚는다. 시뮬레이션 벤치마크에서 GR00T N1은 행동 복제 트랜스포머나 디퓨전 폴리시 같은 기존 기법보다 일관되게 앞섰고, 실제 휴머노이드 실험에서는 디퓨전 폴리시가 평균 46.4%인 조건에서 76.8%를 기록했다. 더 인상적인 것은 데이터의 10%만으로 후속 학습한 경우에도 평균 42.6%를 내 전체 데이터로 학습한 기존 기법과 큰 차이가 나지 않았다는 점이다. 후속 버전인 N1.5는 시각-언어 백본을 아예 얼려둔 채 연결부만 다듬어 언어 지시 수행과 일반화를 끌어올렸고, 미래 화면을 픽셀로 그리게 하는 대신 미래 장면의 내부 표현을 맞추게 하는 목적함수를 더했다. 이어진 N1.6은 양팔 조작과 전신 이동 조작처럼 더 어려운 과제, 더 다양한 로봇 몸체로 범위를 넓혔다.

구글 딥마인드의 접근은 시스템 설계에 방점이 찍힌다. 2025년 3월 보고서는 행동을 만드는 제미나이 로보틱스와 공간 이해·계획을 맡는 제미나이 로보틱스 ER을 나누고, 무거운 백본은 클라우드에 두되 로봇 위에는 빠르게 반응하는 액션 디코더를 얹었다. 관측에서 저수준 행동까지의 지연이 약 250밀리초이고, 여러 동작을 묶어 예측하는 방식으로 실제 제어 주파수는 50헤르츠 수준을 맞춘다. 다만 초기 보고서에서도 한계는 분명했다. 사전 학습만으로는 바나나 건네기 같은 과제는 일부 되지만 옷 접기처럼 정교한 조작은 거의 되지 않았고, 시범 예시를 문맥에 넣어주면 성능이 크게 올랐다. 이어진 1.5 세대는 지시를 받으면 곧바로 팔을 움직이는 대신 작업을 하위 단계로 쪼개 생각한 뒤 행동하는 구조와, 서로 다른 로봇 몸체 사이에서 동작 학습을 옮기는 기법을 전면에 내세웠다.

피지컬 인텔리전스의 파이 계열은 처음부터 로봇 파운데이션 모델을 목표로 했다. 초기 모델은 자기회귀식 토큰 예측 대신 연속적인 궤적을 조금씩 다듬어가는 방식을 써서 정교하고 연속적인 조작에 유리했고, 이후 액션 토큰화를 효율화해 비슷한 성능을 유지하면서 학습 시간을 크게 줄였다. 0.5 세대에서는 새로운 집처럼 처음 보는 환경에서도 부엌이나 침실 정리 같은 긴 작업을 수행하는 계층 구조를 세웠고, 여기에 행동 학습의 그레이디언트가 시각-언어 백본으로 흘러들어 가지 않게 막는 전략이 더해졌다. 이미 배운 언어·시각 지식을 잃지 않게 하는 장치다. 최신 세대인 0.6은 이 구조를 유지하면서 백본과 프롬프트, 데이터 구성을 손봐, 별도 미세조정 없이도 빨래 접기 같은 작업을 안정적으로 해내고 이동형 양팔 로봇에서 처리량을 끌어올렸다.

주요 인사이트

• 세 계열이 서로 다른 출발점에서 같은 결론에 도달했다는 점이 흥미롭다. 엔비디아의 시스템 2와 시스템 1, 구글의 ER과 행동 모델, 파이의 상위 의미 예측과 하위 행동 생성은 모두 '생각하는 층'과 '움직이는 층'을 분리한다.
• 데이터 확장 전략이 승부처다. GR00T는 잠재 행동 코드와 역동역학 모델로 동작 정보가 없는 영상에서도 가상의 행동 정보를 유추해, 8시간 분량의 원격조작 데이터를 827시간 규모의 궤적으로 늘렸다고 설명한다.
• 몸체가 다른 로봇 사이에 학습을 옮기는 문제가 병목으로 지목된다. 휴머노이드와 로봇팔, 이동형 매니퓰레이터가 각자 따로 학습해야 한다면 데이터 비용이 폭발하기 때문에, 잘 움직이는 모델보다 다른 로봇에 빠르게 옮겨 붙는 모델이 더 큰 가치를 갖게 된다.
• 평가 지표도 성공률 하나에서 벗어나고 있다. 파이 0.6 자료는 같은 시간에 얼마나 많은 일을 해내는지를 뜻하는 처리량과, 여러 조건에서 고르게 조금씩 좋아지는 개선을 함께 강조하는데, 실제 서비스에 가까울수록 이런 지표가 중요해진다.

자주 묻는 질문

관련 AI 소식