로봇 파운데이션 모델 원리: 세르게이 레빈이 설명한 VLA와 사전학습·강화학습 후처리

핵심 메시지

• 로봇 학습은 인식·계획·제어를 따로 만드는 모듈 방식 대신, 관측에서 행동까지 한 번에 학습하는 종단간 방식으로 옮겨가고 있다.
• 시각·언어·행동 모델(VLA)은 언어 모델에 이미지 인코더와 별도의 행동 생성 모듈을 붙여, 웹에서 배운 의미 지식을 실제 조작 능력과 연결한다.
• 33개 연구실의 로봇 데이터를 모아 학습한 범용 모델이 각 연구실의 전용 모델보다 평균 50% 더 좋은 성적을 냈다.
• 가정용 이동 로봇 데이터가 전체의 3%뿐이어도, 다른 로봇 데이터로 사전학습하면 학습에 없던 새 집에서도 상당한 성능이 나온다.
• 가치 함수를 붙여 강화학습으로 후처리하면 시연 데이터만 추가로 학습한 경우보다 시간당 성공 횟수가 약 두 배로 늘었다.

쉽게 이해하기

UC버클리 EMBER 세미나에서 세르게이 레빈 교수가 로봇 파운데이션 모델을 주제로 강연했다. 그는 딥러닝을 로봇공학에 끌어들인 초기 연구자 중 한 명이자 피지컬 인텔리전스의 공동창업자로, 이날은 사전학습부터 강화학습 후처리까지 이어지는 최근 연구 흐름을 순서대로 짚었다.

출발점은 종단간 학습의 정당화다. 전통적인 로봇 시스템은 상태 추정, 세계 모델링, 경로 계획, 제어를 따로 만들어 이어 붙이는데, 현실 세계가 이런 깔끔한 추상화를 자꾸 배신한다는 것이다. 그는 11년 전 실험에서 물체 위치를 명시적으로 검출해 정책에 넘기는 방식보다 픽셀에서 곧장 행동을 배우는 방식이 더 잘 됐다고 소개한다. 구멍에 물체를 끼우는 작업은 밀리미터 단위 정밀도를 요구하는데, 위치 검출 오차가 1.3cm였기 때문이다.

파운데이션 모델은 여기에 흥미로운 반전을 더한다. 캡셔닝이나 분할 같은 인식 과제를 사전학습에 넣되, 그 결과를 모듈로 고정해 쓰지 않고 종단간 미세조정에 활용하는 방식이다. 언어 모델에 이미지 인코더를 붙여 시각·언어 모델을 만들고, 다시 흐름 매칭으로 연속 행동을 생성하는 별도 전문가 모듈을 얹은 것이 파이 제로 계열 모델의 구조다. 이 모듈은 50단계 분량의 행동 묶음을 한 번에 만들어 여러 팔을 동시에 제어한다.

강연에서 반복해 강조되는 것은 데이터 구성이다. 사전학습은 다양한 상황을 폭넓게 담아 실수 상황에서도 대처할 근거를 주고, 후처리는 일관되고 품질 좋은 시연으로 원하는 전략을 알려준다. 고품질 데이터만 쓰면 실수 뒤 복구 장면이 없어 조금만 어긋나도 무너지고, 사전학습을 빼면 새 환경 성능이 절반 아래로 떨어졌다는 실험 결과가 제시된다.

마지막 축은 강화학습이다. 작업 진행도를 예측하는 가치 함수를 함께 학습해 그 값을 정책 입력으로 넣고, 실제 운용에서 모은 데이터로 다시 다듬는 구조다. 셔츠를 구겼을 때 가치가 떨어졌다가 복구하면 다시 오르는 식으로 값이 직관적으로 움직였고, 커피 내리기와 상자 조립 같은 작업에서 네 개 중 세 개가 시연 기반 미세조정 대비 두 배 처리량을 기록했다.

주요 인사이트

• 행동 사슬을 중간 단계로 넣는 방식은 겉보기에 예전 모듈 구조로 돌아가는 것 같지만, 검출 결과를 따르도록 강제하지 않고 최종 행동이 맞을 때 보상을 받게 두는 점에서 다르다. 도움이 되는 만큼만 중간 추론이 살아남는 구조다.
• 사람이 옆에서 '전자레인지를 열어라' 같은 중간 지시로 로봇을 코칭하면, 행동 데이터를 추가하지 않고 텍스트 감독만 늘려도 새 집에서의 일반화 성능이 올라갔다.
• 실험 결과 중 가장 역설적인 대목은, 학습을 마친 최종 모델이 사람이 실시간으로 중간 명령을 주는 경우보다 오히려 더 좋은 성적을 냈다는 점이다. 중간 단계를 예측하는 과제를 학습에 넣는 것만으로도 전이 효과가 생겼다.
• 시뮬레이션의 유용성은 과제 성격에 따라 갈린다. 휴머노이드 곡예처럼 로봇 자체의 물리가 어려운 문제는 시뮬레이션이 유리하지만, 부엌 정리처럼 세계를 통째로 재현해야 하는 문제는 실제 데이터를 모으는 편이 낫다는 진단이다.
• 속도는 아직 과제로 남아 있다. 저수준 행동 생성은 약 100밀리초, 비동기로 도는 고수준 판단은 약 300밀리초가 걸려, 펜 돌리기처럼 빠른 조작에는 부족하다고 발표자는 인정한다.

자주 묻는 질문

관련 AI 소식