VLA 로봇 두뇌 완전 해설: RT2부터 파이 제로까지, LLM이 로봇을 조종하는 원리

핵심 메시지

• 2023년 구글 RT2가 코카콜라 캔을 테일러 스위프트 사진으로 옮긴 시연은 학습 데이터에 없던 개념을 인터넷 지식과 연결해 실제 행동으로 옮겼다는 점에서 로봇공학의 전환점이 됐다.
• RT2 팀은 시각·언어·행동을 하나로 묶은 모델을 'VLA(Vision-Language-Action)'라 이름 붙였고, 거대 언어모델이 로봇 두뇌가 될 수 있음을 보였다.
• 구글 팀의 핵심 인력이 나와 세운 스타트업 피지컬 인텔리전스의 파이 제로는 33억 파라미터로 RTX 4090 같은 소비자용 GPU에서 로봇 위에서 직접 돌아간다.
• 파이 제로는 언어모델이 제어값을 직접 내놓는 대신 '액션 엑스퍼트'라는 별도 신경망이 이미지 생성의 플로우 매칭 기법으로 무작위 동작을 매끄러운 궤적으로 다듬는다.
• 이 방식과 별개로, 언어모델을 뼈대로 쓰지 않는 '월드 모델' 계열도 부상하고 있으며 얀 르쿤은 VLA에 회의적인 입장을 밝혔다.

쉽게 이해하기

영상은 2023년 구글의 RT2 시연에서 출발한다. 로봇은 카메라 이미지를 TPU 클러스터로 보내고 제어 신호를 받아, 코카콜라 캔을 집어 테일러 스위프트 사진 위에 어색하게 올려놓았다. 겉보기엔 대단찮은 이 장면이 왜 돌파구였는지가 이야기의 핵심이다.

그 전사(前史)로 구글은 거대 언어모델을 계획 담당으로 쓴 SayCan, 이를 확장한 이너 모놀로그, 그리고 13만 건이 넘는 사람 시연으로 학습해 제어 폭을 크게 넓힌 RT1을 거쳤다. 이어 이미지를 직접 받아들이는 멀티모달 모델 Palm-E를 계획 계층에 넣어, 시야를 가진 로봇이 상황 변화에 적응하도록 만들었다.

2023년 7월 공개된 RT2는 Palm-E와 또 다른 멀티모달 모델 PaLI-X를 출발점으로, 언어모델이 로봇 제어 신호를 직접 출력하도록 학습시켰다. 학습 데이터에 없던 대상·환경·작업에도 놀랍도록 잘 일반화했는데, 이는 인터넷 규모 사전학습에서 얻은 추상 개념을 실제 행동과 연결했음을 뜻한다.

이후 핵심 연구원들이 나와 만든 피지컬 인텔리전스는 2024년 파이 제로를 공개했다. 빨래 개기, 식탁 정리 같은 실생활 작업을 해내면서도 33억 파라미터로 로봇 위에서 73밀리초의 추론 속도로 동작한다. 구글의 오픈웨이트 멀티모달 모델 PaliGemma(SigLip 인코더 + Gemma 언어모델) 위에 세워졌다.

핵심 설계는 언어모델(Gemma)이 이미지와 지시문을 어텐션으로 처리하고, 같은 구조의 '액션 엑스퍼트'가 로봇 관절 상태와 향후 궤적을 다룬다는 점이다. 두 모델이 같은 아키텍처를 공유해 KV 캐시로 정보를 넘겨받으며 거의 하나처럼 작동하고, 액션 엑스퍼트는 플로우 매칭으로 무작위 궤적을 10회 반복해 실제 동작으로 정제한다.

주요 인사이트

• 예전 SayCan은 계획 모델과 제어 모델이 '자연어'라는 좁은 통로로 연결돼 미리 정해진 행동 메뉴에 갇혔던 반면, 파이 제로는 같은 아키텍처를 공유해 훨씬 풍부한 정보를 주고받는다.
• 이미지·영상 생성에서 쓰이던 확산·플로우 매칭 기법이 로봇 제어에도 그대로 통한다는 점은, 서로 달라 보이는 AI 응용을 관통하는 강력한 추상화가 존재함을 보여준다.
• 어텐션 헤드가 지시문 속 '펜'이라는 단어를 이미지에서 펜이 있는 부분과 연결하는 과정을 시각화하면, 언어와 시각 정보가 어떻게 하나의 표현으로 묶이는지 직관적으로 드러난다.
• 인상적인 시연이 곧 상용화를 뜻하지는 않는다. 1995년 카네기멜런의 자율주행 시스템 'Ralph'가 미국 횡단의 98.2%를 자율로 달렸지만 오늘날 자율주행은 전혀 다른 방식으로 구현됐듯, VLA도 아직 데모 단계다.
• 언어모델을 뼈대로 쓰지 않는 월드 모델 계열이 대안으로 떠오르고 있으며, 메타를 떠나 관련 벤처를 시작한 얀 르쿤은 VLA 접근에 부정적 견해를 밝혔다.

자주 묻는 질문

관련 AI 소식