Physical AI 논문 총정리: 구글 RT-1부터 NVIDIA GR00T까지 로봇 AI 2년의 흐름

핵심 메시지

• 2022년 말 구글 RT-1이 카메라 영상·관절 움직임·언어 명령을 모두 '토큰'으로 다뤄 트랜스포머에 넣으면서, 로봇 제어가 정교한 수식의 영역에서 데이터 기반 학습의 영역으로 넘어갔다.
• RT-2는 인터넷 지식을 학습한 거대 시각-언어 모델(VLM)에 로봇을 연결해, 정해진 동작을 반복하는 '스킬 기반'에서 맥락과 의미를 이해하는 '시맨틱 기반' 제어로 패러다임을 옮겼다.
• 이후 Octo와 OpenVLA의 범용성, π0의 유연함, 구글 제미나이 로보틱스와 NVIDIA GR00T의 추론 능력이 더해지며 VLA(시각-언어-행동) 모델이 로봇 AI의 중심축이 됐다.
• PD-VLA·RTC 같은 최적화 기술로 온디바이스 환경에서도 '추론(Reasoning)'과 '제어(Control)'를 실시간으로 이어붙일 수 있게 됐다.
• 2025년의 Physical AI는 모델이 조금 커진 수준의 변화가 아니라, 데이터·인프라·아키텍처·온디바이스 실용성이 모두 갖춰지며 일어난 패러다임 전환이다.

쉽게 이해하기

로봇과 AI를 다뤄 온 유튜브 채널 '엥지유니버스'가 2025년 12월을 맞아 지난 2년간의 로봇 AI 발전을 핵심 논문 14편으로 총정리했다. 'VLA가 정확히 무엇인지', '왜 Physical AI라는 말이 올해 갑자기 중요해졌는지', '어떤 논문들이 이 변화를 이끌었는지'를 하나의 흐름으로 짚는 것이 영상의 목표다.

출발점은 2022년 말 구글의 RT-1(Robotic Transformer 1)이다. 그전까지 로봇 제어는 정교한 수식과 제어 이론의 영역이었지만, 구글은 카메라 영상도 관절 움직임도 언어 명령도 모두 단어(토큰)처럼 취급해 트랜스포머에 넣는 단순한 발상을 들고나왔다. ChatGPT가 다음 단어를 예측하듯 로봇이 '다음 행동'을 예측하게 만든 것으로, 13만 개 데이터를 학습시키자 로봇은 100가지가 넘는 작업을 수행했다.

이듬해 RT-2는 인터넷의 방대한 지식을 이미 학습한 거대 시각-언어 모델에 로봇을 연결했다. '그림 속 바나나와 같은 색깔의 물건을 집어라'라는 명령에, 과거 로봇이라면 멈췄을 상황에서 RT-2는 자신의 세계 지식을 동원해 노란색 물건을 집어 올렸다. 영상은 이 지점을 정해진 동작을 수행하는 '스킬 기반'에서 의미를 이해하고 움직이는 '시맨틱 기반'으로의 전환점으로 본다.

이어 영상은 Octo와 OpenVLA의 범용성, π0의 유연함, 구글 제미나이 로보틱스와 NVIDIA GR00T의 추론 능력을 차례로 짚는다. 2024~2025년의 최신 연구들은 사실상 RT-1과 RT-2가 연 길을 확장한 것으로, 시각-언어-행동을 하나로 잇는 VLA 계열이 로봇 학습의 표준 틀로 자리 잡았다.

마지막으로 영상은 PD-VLA·RTC 같은 최적화 기술 덕분에 온디바이스 환경에서도 로봇이 인간의 의도를 실시간으로 파악하고 지체 없이 행동으로 옮길 수 있게 됐다고 정리한다. 데이터라는 '경험', 인프라라는 '체력', 아키텍처라는 '지능', 온디바이스라는 '실용성'이 모두 갖춰진 지금을 Physical AI 시대의 개막으로 규정한다.

주요 인사이트

• 언어 모델의 성공 공식(모든 입력을 토큰화해 트랜스포머로 예측)을 로봇 제어에 그대로 옮긴 것이 이 분야 도약의 핵심 아이디어였다.
• 로봇이 인터넷 규모의 지식을 갖춘 시각-언어 모델과 결합하면서, 사전에 일일이 코딩하지 않은 개념과 색·사물의 관계까지 추론해 행동하게 됐다.
• '스킬 기반'에서 '시맨틱 기반'으로의 이동은 단순 성능 향상이 아니라 로봇이 세상을 이해하는 방식 자체의 변화다.
• 추론 능력(무엇을 할지 판단)과 제어(실제 움직임)를 온디바이스에서 실시간으로 잇는 것이 로봇을 실험실 밖 실용 단계로 끌어내는 관건이다.
• RT-1·RT-2에서 GR00T·제미나이 로보틱스까지의 흐름을 보면, 개별 논문보다 '데이터·아키텍처·실용성의 결합'이라는 큰 방향이 이 분야를 이끌고 있음을 알 수 있다.

자주 묻는 질문

관련 AI 소식