로봇 파운데이션 모델 총정리: LLM·VLM이 바꾸는 로봇 정책 학습과 태스크 플래닝

핵심 메시지

• 현업 로봇 개발자가 서베이 논문 'Foundation Models in Robotics: Applications, Challenges, and the Future' 중 로보틱스 장을 골라, 거대 모델이 로봇에 접목되는 방식을 여섯 갈래로 정리했다.
• 언어 기반 모방 학습과 강화 학습은 시범 데이터 수집 비용과 학습 범위를 벗어난 상황에서의 오작동이라는 고질적 문제를 안고 있고, 대형 사전 학습 모델이 그 완충재로 쓰이고 있다.
• R3M·VIP·LIV로 이어지는 가치 학습 연구는 사람의 작업 영상에서 로봇이 쓸 수 있는 시각 표현과 보상 신호를 뽑아내려는 시도다.
• RT-1에서 RT-2, RT-X로 이어지는 트랜스포머 계열은 '한 번 학습해 여러 로봇에서 쓰는' 범용 정책을 목표로 규모를 키우고 있다.
• 오픈 보캐블러리 방식은 좌표를 미리 알려주지 않아도 언어와 시각 정보만으로 처음 보는 환경을 탐색하고 물체를 조작하게 만든다.

쉽게 이해하기

젠슨 황의 기조연설 이후 로봇 업계에서 '피지컬 AI', 즉 물리 환경과 직접 상호작용하는 AI가 최대 화두로 떠올랐다. 영상은 그 중심에 있는 로봇 파운데이션 모델을 다룬 33쪽짜리 서베이 논문 'Foundation Models in Robotics: Applications, Challenges, and the Future'를 가져와, 그중 가장 실무적인 로보틱스 장을 통째로 풀어 설명한다. 발표자는 현업 로봇 개발자로서 논문에 없는 배경 지식까지 덧붙여 초심자도 따라올 수 있게 정리했다.

첫 축은 로봇 정책 학습이다. 사람이 시범을 보이면 로봇이 따라 배우는 모방 학습에 언어 지시를 결합하면 '컵을 집어서 옆에 놔'라는 말로 행동을 가르칠 수 있지만, 수천에서 수만 건의 시범을 모아야 하고 상자가 조금만 밀려 있어도 학습 범위를 벗어나 엉뚱하게 움직인다. 강화 학습 역시 환경 탐색에 시간이 오래 걸리고 새 환경에서는 처음부터 다시 배워야 한다. 언어와 이미지를 함께 다루는 CLIPort, 명령을 수행 가능한 단위로 쪼개는 SayCan, 이미지와 언어를 같이 이해해 새 환경에 빠르게 적응하는 PaLM-E 같은 모델이 이 한계를 메우는 쪽으로 연구되고 있다.

두 번째 축은 목표를 스스로 이해하는 가치 학습이다. R3M은 사람이 작업하는 영상에서 로봇 조작용 시각 표현을 미리 학습해 두는 방식으로, 프랑카 에미카 판다 로봇팔 실험에서 사람 동작을 따라하는 능력이 좋아졌지만 언어 정보가 없어 목표 자체를 직접 배우기는 어려웠다. VIP는 강화 학습 없이 영상만으로 보상을 추정하고, LIV는 여기에 언어를 붙여 '컵을 오른쪽에 둬' 같은 지시를 이미지 속 개념과 연결한다. 이어 VoxPoser는 깊이 정보가 담긴 RGB-D 카메라를 써서 3차원 공간에서 물체의 상대 위치를 판단한다.

세 번째 축은 태스크 플래닝과 코드 생성이다. 예전에는 사람이 상황과 행동을 하나하나 코딩하거나 규칙으로 매칭해야 했지만, 이제 언어 모델이 '커피를 만들어 줘' 같은 상위 명령을 세부 단계로 쪼갠다. 자연어를 로봇이 실행할 논리 명령으로 바꾸는 연구는 2,000건 규모의 변환 데이터로 학습했고, ProgPrompt는 시뮬레이터에서 명령 시퀀스를 자동 생성했으며 Code as Policies는 아예 파이썬 제어 코드를 만들어 실행한다. 여기에 예제 몇 개만 보여주고 바로 수행하게 하는 인컨텍스트 러닝과, 복잡한 작업을 단계로 나누는 생각의 사슬 기법이 결합된다.

마지막 축은 규모와 일반화다. RT-1은 13대의 로봇이 17개월간 수행한 13만 건의 실험 데이터와 700개 이상의 태스크로 학습해 이미지와 자연어 명령만으로 동작을 생성했고, RT-2는 웹에서 배운 개념까지 끌어와 '삼각형 모양 물건'처럼 학습 데이터에 없던 지시도 해석한다. RT-X는 21개 연구 기관이 서로 다른 로봇 데이터를 합쳐 527개 기술, 약 16만 개 태스크를 다루며 특정 기종에 묶이지 않는 범용 정책을 노린다. 내비게이션에서는 GPT-3와 CLIP을 결합한 LM-Nav, 여러 로봇 데이터로 학습한 ViNT가, 조작에서는 멀티모달 프롬프트를 쓰는 VIMA와 100회 남짓의 시도로 새 작업을 익히는 RoboCat이 소개된다.

주요 인사이트

• 로봇 분야에서 거대 모델의 역할은 '더 똑똑한 두뇌'라기보다 데이터 부족과 일반화 실패라는 오래된 병목을 우회하는 수단에 가깝다. 언어와 웹 이미지로 이미 배운 지식을 끌어와 로봇이 직접 모아야 할 시범 데이터의 양을 줄이는 것이 공통된 전략이다.
• SayCan의 구조는 언어 모델이 무엇을 해야 하는지 말하는 부분(say)과 그 행동이 실제로 가능한지 판단하는 부분(can)을 분리한다는 점에서, 그럴듯한 계획과 실행 가능한 계획을 구분하는 안전장치 역할을 한다.
• RT-X처럼 서로 다른 기관과 기종의 데이터를 합치려는 흐름은, 언어 모델이 웹 텍스트를 긁어모아 성능을 끌어올린 경로를 로봇이 뒤따르고 있음을 보여준다. 로봇에서는 데이터 자체가 물리 세계에서만 나오기 때문에 공동 수집이 필수가 된다.
• 발표자는 현업에서도 기술 변화를 따라잡기 벅찰 만큼 로봇 AI가 빠르게 움직이고 있으며, 여기 소개된 기술 중 일부는 한계에 부딪혀 사라지고 일부만 살아남아 발전할 것이라고 내다본다.

자주 묻는 질문

관련 AI 소식