앤스로픽·피지컬 인텔리전스 로보틱스 정리 — VLA 모델과 LLM 로봇 제어 네 가지 방식

핵심 메시지

• 앤스로픽이 로봇 파운데이션 모델 회사 피지컬 인텔리전스를 인수한다는 이야기는 아직 확인되지 않은 소문이다. 대담자들은 올해 초 인수 협상이 있었다는 보도는 사실이지만 현재 진행형 인수는 CEO가 부인했다고 선을 긋는다.
• LLM으로 로봇을 제어하는 방식은 관절값을 직접 출력하는 다이렉트, 제어 코드를 짜게 하는 코드, 기존 정책을 도구처럼 호출하는 정책 감독, 학습 알고리즘 자체를 짜게 하는 학습 감독의 네 가지로 나뉜다.
• 행동 모델이 아닌 범용 LLM에 시야 정보와 관절값만 주고 모터 각도를 직접 출력하게 한 시뮬레이션 실험에서 최종 성공률은 5% 수준이었지만, 물체에 손을 대는 중간 목표까지는 40~60%에 도달했다.
• 이미 잘 학습된 로봇 정책을 LLM이 지휘하게 하면 오히려 성능이 떨어졌다. 정책의 출력을 그대로 믿는 비율이 높은 모델일수록 결과가 좋았고, 반대로 자기 판단으로 개입한 모델이 더 나빴다.
• 반대로 학습 범위 밖이라 성공률이 0%였던 새 과제에서는 같은 조합이 30~40%대까지 올라갔다. LLM을 붙이는 이득은 정책이 이미 잘하는 곳이 아니라 못 하는 곳에서 나온다는 뜻이다.

쉽게 이해하기

대담은 앤스로픽이 로봇 파운데이션 모델 회사인 피지컬 인텔리전스를 인수하려 한다는 소문에서 출발한다. 다만 두 사람은 이 소문의 지위를 분명히 구분한다. 올해 봄에 인수 협상이 있었다는 것은 보도로 확인된 사실이지만, 지금 인수가 진행 중이라는 이야기는 회사 측이 부인한 상태이며 트위터에서 시작해 기사로 번진 미확인 정보라는 것이다. 대신 대화의 중심은 두 회사가 실제로 공개한 모델과 연구 쪽으로 옮겨간다.

피지컬 인텔리전스의 모델 계보부터 정리된다. 첫 모델 π0는 세탁기에서 빨래를 꺼내 개는 시연으로 알려졌고, 여러 종류의 로봇 몸체를 하나의 모델로 제어하는 제너럴리스트를 표방했다. 구조는 비전 인코더와 언어 모델 위에 행동 전문가를 얹어 흐름 매칭 방식으로 행동을 만들어내는 형태로, 이후 등장한 많은 VLA 모델의 기본형이 됐다. 뒤이은 π0.5는 '방 정리해줘'처럼 모호한 지시를 하위 작업으로 쪼개는 능력을 더했고, 여기까지가 오픈소스로 공개돼 많은 연구자가 직접 써볼 수 있었다.

π0.6부터는 강화학습이 전면에 나온다. 대담자들은 조작 과제에서 강화학습이 유독 어려운 이유를 두 가지로 짚는다. 하나는 시뮬레이션의 한계다. 로봇과 바닥처럼 단단한 물체는 시뮬레이션이 꽤 정확하지만, 빨래처럼 형태가 변하는 물체는 물리를 제대로 재현하기 어려워 결국 실제 환경에서 데이터를 모아야 한다. 다른 하나는 보상 설계다. 걷기라면 넘어지지 않는 것으로 즉각적인 점수를 줄 수 있지만, 커피를 내리는 과정에서는 무엇이 잘 집은 것인지 정의하기도, 중간 단계에 점수를 주기도 어렵다.

앤스로픽 쪽 실험도 흥미롭다. 행동 모델로 학습된 적이 없는 범용 LLM에 시뮬레이션 화면과 관절값 이력을 주고 모터 각도를 직접 출력하게 했더니, 물건을 집어 지정 위치에 놓는 최종 성공률은 5%에 그쳤다. 같은 과제에서 전용 VLA 모델이 90%를 넘는 것과 비교하면 초라한 숫자지만, 대담자들은 이 과제로 파인튜닝조차 하지 않은 모델이 손을 대고 잡는 중간 단계에서 40~60%를 냈다는 점에 주목한다. 사전학습 데이터 안에 이미 로봇을 다룰 실마리가 섞여 있다는 방증이라는 것이다.

가장 시사적인 결과는 정책 감독 실험이다. 이미 86% 성능을 내는 VLA를 LLM이 도구처럼 불러 쓰게 했더니 성능이 오히려 떨어졌다. 연구진이 LLM이 정책의 출력을 그대로 따르는 비율을 재보니, 잘 따른 모델일수록 성적이 좋았다. 똑똑한 모델이 자기 판단으로 개입할수록 결과가 나빠진 것이다. 그래서 아예 VLA가 성공률 0%를 내는 새 과제를 설계하자 결과가 뒤집혔다. 같은 조합이 30~40%대를 기록한 것이다.

대화는 데이터 문제로 이어진다. 사람이 원격으로 로봇을 조종해 데이터를 모으는 방식은 사람을 관리하는 비용이 크다. 그래서 좋은 파운데이션 모델을 만들면 그 모델 자체가 데이터 엔진이 된다는 관점이 등장한다. 모델이 만들어낸 성공 사례를 다시 학습 데이터로 되돌리는 순환이다. π0.7 단계에서는 성공과 실패 여부, 조작 품질, 속도 같은 메타데이터까지 함께 학습시킨 뒤, 추론할 때 '빠르고 품질 좋게 성공'을 조건으로 걸어 실행하는 구조가 소개된다. 실패 데이터도 왜 어디까지 갔다 실패했는지를 담고 있으면 가치가 생긴다.

주요 인사이트

• 범용 언어 모델이 로봇 관절값을 직접 뽑아내는 방식은 아직 전용 모델의 상대가 되지 않는다. 그럼에도 학습 없이 중간 단계를 절반 가까이 성공시켰다는 사실은, 사전학습 안에 물리 세계에 대한 사전 지식이 상당량 들어 있음을 시사한다.
• 성능이 좋은 모델이 항상 좋은 지휘자는 아니다. 이미 최적화된 정책 위에 판단력 높은 모델을 얹으면 불필요한 개입이 늘어 성능이 떨어질 수 있다는 결과는 에이전트 설계 전반에 적용될 만한 교훈이다.
• 벤치마크 설계 자체가 결론을 좌우한다. 기존 과제에서는 LLM을 붙일 이유가 없다는 결론이 나왔지만, 정책이 손도 못 대는 과제로 바꾸자 같은 구조가 유의미한 이득을 냈다.
• 강화학습을 조작 과제에 쓰기 어려운 진짜 이유는 조작이라서가 아니라 형태가 변하는 물체를 시뮬레이션하기 어렵고 보상이 희소하기 때문이라는 정리가 대화 중에 나온다. 서랍 열기처럼 단단한 물체를 다루는 조작은 이미 시뮬레이션 강화학습으로 풀려 있다.
• 하드웨어가 병목이라는 통념과 달리, 대담에서 인용된 관점은 데이터를 모으기 위해 사람을 관리하는 일이 더 큰 고통이라고 본다. 그래서 사람이 개입하지 않고도 데이터가 쌓이는 구조가 다음 과제로 지목된다.
• 숙련공의 암묵지를 언어로 다 뽑아낼 수 있느냐는 질문에 대해, 두 사람은 신입을 가르칠 때와 다르지 않다고 답한다. 직접 해보게 한 뒤 계속 피드백을 주는 방식이 결국 같은 구조라는 것이다.

자주 묻는 질문

관련 AI 소식