로봇 학습 10년의 세 시대: 팔 농장 실험부터 파운데이션 모델과 스케일 경쟁까지

핵심 메시지

• 로봇의 하드웨어는 수십 년 전에 이미 어느 정도 준비돼 있었고, 진짜 병목은 지능이었다는 문제의식에서 현대 로봇 학습이 출발했다.
• 첫 시대는 '존재 증명'의 시기로, 값비싼 로봇 여러 대를 한 방에 모아 놓고 물건 집기 데이터를 50만 건 넘게 모으는 식의 실험이 이어졌다.
• 언어 모델이 폭발하면서 두 번째 시대가 열렸고, 이미지와 지시문을 토큰으로 바꿔 로봇 동작까지 토큰으로 뱉는 모델이 등장했다.
• 지금은 세 번째 시대로, 모델 성능과 데이터, 평가 방식이 모두 규모 경쟁에 들어가 있다.
• 발표자는 10년 동안 기대 이상으로 진전했지만, 열린 질문과 이견은 오히려 그 어느 때보다 많다고 정리했다.

쉽게 이해하기

강연은 2015~2016년 무렵으로 거슬러 올라간다. 게임과 바둑에서 학습 기반 의사결정이 큰 성과를 내던 시기였고, 한편으로는 사람이 원격 조종하면 거실을 치우고 냉장고에서 음료를 꺼내 오는 로봇 시연이 이미 수십 년 전에 존재했다. 하드웨어는 거의 준비됐는데 자율적으로 판단하는 지능이 없다는 진단이, 디지털 영역의 학습 성과를 실물 로봇에 붙여 보자는 시도로 이어졌다.

첫 번째 시대에는 로봇 여러 대를 한 공간에 늘어놓고 대규모 데이터를 모으는 이른바 '팔 농장' 실험이 상징이었다. 다만 로봇은 게임과 달리 행동 공간이 연속적이고 관측이 고해상도 픽셀이라, 기존 가치 기반 강화학습을 그대로 쓸 수 없었다. 이 문제를 풀기 위해 50만 건이 넘는 집기 데이터를 모아 학습하는 접근이 나왔고, 시뮬레이션 이미지를 실제처럼 바꿔 평가에 쓰는 방법도 함께 연구됐다.

실제 로봇으로 온라인 강화학습을 계속 돌리는 방식은 로봇 시간과 사람 손이 너무 많이 든다는 한계에 부딪혔다. 그래서 사람이 원격 조종해 만든 시연 데이터를 크게 모아 두고 오프라인으로 학습하는 쪽에 무게가 실렸고, 코로나 시기에는 한 가지 과제가 아니라 수백에서 수천 가지 과제를 목표로 1년 반 동안 대규모 시연 수집이 진행됐다.

두 번째 시대는 언어 모델의 성과를 로봇에 끌어오는 시기다. 모든 것을 토큰으로 다루는 설계, 사전학습된 표현을 그대로 활용하는 발상, 오프라인 대규모 데이터라는 세 요소를 합쳐 이미지와 언어 지시를 받아 이산화된 동작 토큰을 내놓는 로봇 트랜스포머가 나왔다. 8만 7,000여 개 궤적으로 수백 가지 과제를 수행했고, 성공률은 60~80% 수준이었다.

이어서 언어 모델을 계획 수립에 쓰되 로봇 정책이 실제로 할 수 있는지를 가치 함수로 걸러 결합하는 방식, 비전-언어 모델로 데이터를 다시 라벨링해 지시문 다양성을 늘리는 방식, 그리고 비전-언어 모델 자체를 백본으로 삼아 로봇 동작 예측을 시각 질의응답처럼 다루는 방식이 차례로 나왔다. 30곳이 넘는 연구실 데이터를 모아 서로 다른 로봇 사이의 지식 전이를 확인한 공동 프로젝트도 이 시기의 성과다.

세 번째는 스케일의 시대다. 더 강한 멀티모달 모델과 양팔 원격조종 하드웨어가 결합해 손재주와 추론을 함께 끌어올렸고, 여러 로봇 형태를 하나의 동작 공간으로 함께 사전학습해 별도 미세조정 없이 한 신경망으로 여러 로봇을 제어하는 단계까지 왔다. 동시에 성능 비교를 위해 실제 시행이 수천에서 수만 번 필요해지면서, 시뮬레이션과 분산 평가 같은 확장 가능한 평가 연구도 함께 커지고 있다.

주요 인사이트

• 데이터 수집 전략이 갈라지고 있다. 장갑처럼 생긴 전용 기기를 전 세계에 배포해 사람 손동작을 모으는 쪽, 머리에 카메라를 달아 1인칭 영상을 모으는 쪽, 실제 배치 현장의 데이터를 중시하는 쪽이 공존한다.
• 고품질 원격조종 데이터의 위상은 시간 문제라는 관측이 나왔다. 인터넷·시뮬레이션 데이터가 아래를 받치고 소량의 실제 데이터가 꼭대기에 놓이는 구조가 빨리 자리 잡으면 원격조종의 비중은 줄지만, 그 연구가 오래 걸리면 당분간은 원격조종이 여전히 왕이라는 것이다.
• 영상 기반 사전학습은 언어가 주지 못하는 시간·공간·직관 물리 지식을 준다. 다만 발표자는 텍스트가 주는 추론 능력이 여전히 크다고 보고, 둘을 합치는 쪽이 정답에 가까울 것이라고 말한다.
• 조작(매니퓰레이션)과 보행·전신 제어는 사실상 다른 학습 패러다임을 걸어왔다. 로봇이 춤추고 쿵후를 하는 민첩성은 모방학습이 아니라 시뮬레이션 강화학습에서 나왔고, 두 흐름을 어떻게 합칠지가 남은 숙제다.
• 연구 관점에서는 지도 작성이나 위치 추정 같은 전통 기법을 블랙박스로 갖다 쓰기보다, 그 능력을 모델 안으로 증류해 넣자는 태도가 파운데이션 모델 진영의 기본값이다.

자주 묻는 질문

관련 AI 소식