OpenVLA 완전 정리: 로봇 행동을 토큰으로 바꾼 오픈소스 비전-언어-행동 모델의 구조와 성능

핵심 메시지

• OpenVLA는 오픈 X-임바디먼트 데이터셋의 실제 로봇 에피소드 약 100만 건으로 학습한 70억 파라미터 오픈소스 비전-언어-행동 모델로, 가중치와 학습 코드, 데이터 혼합 비율까지 공개됐다.
• 로봇 행동의 각 차원을 255개 구간으로 이산화해 토큰으로 바꾸면, 비전-언어 모델의 구조를 전혀 손대지 않고 다음 토큰 예측만으로 조작 정책을 학습할 수 있다.
• 새 로봇과 과제에 맞춰 미세조정할 때 랭크 32의 LoRA는 전체 파라미터의 1.4%만 학습하고도 전체 미세조정과 맞먹는 성능을 냈다.
• 4비트 양자화를 쓰면 GPU 메모리 약 7GB로 추론이 가능해, 연구용 고급 GPU가 없어도 모델을 돌려볼 수 있다.
• 단일 프레임 입력과 단일 스텝 행동 예측이라는 구조 탓에 제어 주파수가 낮고 양팔 로봇을 지원하지 못하는 점은 명확한 한계로 남았다.

쉽게 이해하기

허깅페이스의 로봇 학습 프로젝트 르로봇(LeRobot)이 여는 연구 발표 시리즈에서 스탠퍼드 박사과정 무진 김(Moo Jin Kim)이 OpenVLA를 소개했다. 스탠퍼드와 버클리, MIT에 토요타연구소와 구글 딥마인드가 함께한 공동 연구다. 배경에는 자연어 처리와 컴퓨터 비전에서 검증된 '대규모 사전학습 후 미세조정' 공식이 로봇에서는 유독 늦게 도착했다는 사정이 있다. 실제 하드웨어로 물건을 만지며 데이터를 모아야 해서 규모를 키우기 어려웠기 때문이다.

판을 바꾼 것은 두 흐름이었다. 20여 개 기관과 로봇에서 모은 200만 건 이상의 로봇 에피소드를 한데 묶은 오픈 X-임바디먼트 데이터셋이 데이터 병목을 완화했고, 사전학습된 비전-언어 모델을 로봇 제어용으로 미세조정한 RT-2가 '비전-언어-행동 모델'이라는 개념을 만들었다. 인터넷 규모 학습으로 얻은 의미 지식이 로봇 정책의 일반화에 도움이 된다는 것이 핵심 발견이었다. 다만 그 뒤에 나온 모델들은 대부분 비공개이거나 시뮬레이션 데이터만 썼고, OpenVLA는 그 빈자리를 겨냥했다.

구조는 단순하다. 라마 2 언어 모델에 공간 표현에 강한 DINOv2와 이미지-언어 정합에 강한 SigLIP을 함께 붙인 프리즈매틱 비전-언어 모델을 백본으로 삼고, 3인칭 이미지 한 장과 자연어 지시를 받아 한 시점의 행동을 내놓는다. 행동은 7차원인데 앞의 여섯 개가 로봇 손의 위치와 회전 변화량이고 마지막 하나가 그리퍼 개폐다. 각 차원을 -1에서 1 사이로 정규화한 뒤 255개 구간으로 쪼개고, 라마 2 어휘에서 가장 적게 쓰이는 토큰 255개를 덮어써 행동 토큰으로 쓴다. 결국 학습은 교차 엔트로피 손실을 쓰는 평범한 다음 토큰 예측이 되고, 모델 구조는 손댈 필요가 없어진다.

성능 비교에서는 3500만 파라미터의 RT-1-X, 9300만 파라미터의 오토(Octo), 그리고 550억 파라미터 비공개 모델인 RT-2-X가 상대였다. 브릿지 V2 위도우X 로봇과 구글 로봇에서 시각·동작·물리·의미 네 축의 일반화를 평가한 결과 OpenVLA가 대부분 범주에서 앞섰고, 의미적 일반화에서만 RT-2-X가 근소하게 우세했다. 발표자는 그 원인으로 RT-2-X가 로봇 데이터와 비전-언어 사전학습 데이터를 함께 미세조정한 반면 OpenVLA는 로봇 데이터만 썼다는 점을 지목하며, 사전학습 개념을 일부 잊었을 가능성을 언급했다.

두 번째 질문은 새 환경 적응이었다. 프랑카 로봇 두 대의 실제 환경에서 과제당 시연 50개 안팎을 모아 미세조정했고, 물체와 지시가 다양한 과제에는 150개까지 필요했던 반면 물체 위치 변동이 작은 과제는 시연 10개로도 학습됐다. 언어 구분이 필요 없는 단일 지시 과제에서는 디퓨전 정책이 더 나았지만 여러 물체 중 지시된 것을 골라야 하는 과제에서는 OpenVLA가 확실히 강했고, 일곱 과제 평균으로는 차선책보다 절대 성공률 20%포인트 앞서며 모든 과제에서 50% 이상을 낸 유일한 방법이 됐다. 발표 후반부는 실무 정보로 채워졌는데, 비전 인코더를 얼린 채 언어 모델만 미세조정하면 오히려 성능이 나빠졌고 랭크 32의 LoRA가 전체 미세조정에 필적했으며 4비트 양자화는 성능 저하 없이 메모리를 절반 아래로 줄였다. 반면 종료 신호를 학습하지 않아 스스로 과제 완료를 알리지 못하고, 여러 행동을 묶어 예측하는 액션 청킹은 추론 지연 탓에 오히려 성능을 떨어뜨렸으며, 전체 미세조정을 거친 모델은 일반적인 대화나 시각 질의응답 능력을 잃는다는 한계가 남았다.

주요 인사이트

• 행동을 토큰으로 바꾼다는 단순한 결정 하나가 '언어 모델 학습 인프라를 그대로 재사용한다'는 실질적 이득으로 이어졌다. 정수 토큰을 쓰지 않고 별도 구간 토큰을 만든 것도 라마 2 어휘에 두 자리 이상 정수 토큰이 없다는 현실적 제약에서 나온 선택이었다.
• 비전 인코더를 동결하면 성능이 눈에 띄게 떨어졌다는 결과는 기존 비전-언어 모델 연구의 통념과 반대다. 발표자는 인터넷 이미지로 학습한 시각 표현이 아직 로봇 제어에 곧바로 맞지는 않기 때문이라고 해석했다.
• 성능 상한보다 접근성이 이 프로젝트의 실질적 기여다. 가중치와 코드 공개에 LoRA와 4비트 양자화를 더하면서, 대형 컴퓨팅 자원이 없는 연구실도 비전-언어-행동 모델 연구에 참여할 수 있는 문턱이 만들어졌다.
• 액션 청킹이 실패한 사례는 로봇에서 정확도만큼 지연 시간이 중요한 변수임을 보여준다. 데모 수집 때 초당 다섯 번 움직이던 로봇이 배치 시점에 1~2초에 한 번씩 끊겨 움직이면, 학습 때와 실행 때의 동역학 자체가 달라져 성능이 무너진다.
• 관절 공간이 아니라 로봇 베이스 기준 직교좌표로 행동을 표현한 이유는 이식성이었다. 관절 수와 배치가 제각각인 로봇들 사이에서도 '왼쪽으로 이동하고 회전한 뒤 그리퍼를 닫는다'는 표현은 공통으로 통하기 때문이다.

자주 묻는 질문

관련 AI 소식