언어 모델과 로봇 학습, 구글 로보틱스 연구진이 설명한 어포던스 결합 플래너와 실패 사례

핵심 메시지

• 로봇 학습의 가장 큰 병목은 데이터 수집이며, 이동하며 조작까지 하는 로봇의 데이터를 모으는 일은 공학적으로 매우 비싸다.
• 연구진은 계산 자원의 흐름에 올라타야 한다는 '쓰라린 교훈'을 로봇공학에 적용해, 이번에는 대규모 언어 모델의 발전에 올라타자고 제안한다.
• 언어는 과제를 표현하는 값싸고 해석 가능한 방식이며, 긴 과제를 작은 단계로 쪼개고 배운 기술을 조합하는 데에도 쓸모가 있다.
• 언어 모델만으로는 로봇이 실제로 할 수 없는 행동을 제안하므로, 현재 상태에서 성공 확률을 매기는 어포던스 모델과 점수를 곱해 실행할 단계를 고른다.
• 언어 모델 크기만 키워도 계획 성능이 함께 올라간다는 점이 확인됐고, 계획 성공률은 84퍼센트, 실행까지 포함한 성공률은 74퍼센트로 보고됐다.

쉽게 이해하기

버클리 머신러닝 학회에서 구글 로보틱스의 키어타나 고팔라크리시난과 야오 루가 언어 모델을 로봇 학습에 결합하는 연구를 발표했다. 강연은 '오늘날 로봇 학습을 가로막는 가장 큰 병목이 무엇인가'라는 질문으로 시작했다. 답은 데이터였다. 산업 현장의 제약된 환경과 달리 가정이나 사무실에서 움직이는 로봇은 '음료를 쏟았는데 도와줄래' 같은 자연어 요청을 받고, 이동과 조작과 계획을 한꺼번에 해내야 한다.

발표자는 리처드 서턴의 '쓰라린 교훈'을 끌어왔다. 지난 70년간 AI에서 통한 것은 사람의 지식을 정교하게 집어넣는 방식이 아니라, 단순하면서 계산 자원의 증가와 함께 확장되는 방식이었다는 이야기다. 그렇다면 로봇공학에도 올라탈 흐름이 있는지 물었고, 청중에게서 나온 답이 언어 모델이었다. 다음 토큰을 맞히도록 학습됐을 뿐인데도 세계에 대한 방대한 지식을 담고 추론하는 조짐을 보이는 모델들이, 로봇이 붙잡을 다음 흐름이라는 것이다.

언어를 쓰는 이유는 실용적이다. 같은 과제를 이미지 여러 장이나 영상으로 표현하면 데이터가 커지지만 문장 하나면 충분하고, 사람이 읽어 무슨 뜻인지 바로 알 수 있다. 긴 과제를 작은 단계로 나누기도 쉽고, 사과를 집는 법과 오렌지를 옮기는 법을 배웠다면 병을 집는 일처럼 조합해 확장하기도 좋다. 로봇이 할 수 없는 일을 사람에게 말로 알릴 수 있다는 점, 여러 종류의 대형 모델을 잇는 공통 인터페이스가 된다는 점도 언급됐다.

핵심 구조는 두 모델의 결합이다. 언어 모델은 사용자의 요청을 받아 로봇이 이미 학습한 기술 목록 각각에 대해 얼마나 적절한지 점수를 매긴다. 하지만 언어 모델은 눈이 없어서, 사과가 어디 있는지 모르는 상태에서도 '사과를 집어라'를 제안할 수 있다. 그래서 강화학습으로 학습한 어포던스 모델이 현재 카메라 영상을 보고 각 기술의 성공 확률을 따로 매기고, 두 점수를 곱해 지금 실행할 단계를 고른다. 사과가 멀리 있으면 '사과를 찾아라'가 먼저 뽑히고, 사과 앞에 도착한 뒤 다시 물으면 '사과를 집어라'가 뽑히는 식이다.

이후 연구는 이 열린 고리를 닫는 방향으로 이어졌다. 객체 검출 결과로 장면에 무엇이 있는지 알려주고, 시각 언어 모델로 방금 동작이 성공했는지 판정해 되먹이며, 사람이 대화로 개입해 '카페인이 든 것으로 달라'처럼 요청을 좁힐 수 있게 했다. 또 로봇이 미리 공간을 돌며 사진을 찍어 자연어로 질의할 수 있는 지도를 만들어, 사람이 물건 위치를 손으로 지정하지 않아도 되게 했다. 집이든 사무실이든 배치가 제각각인 환경에서 일반화하려면 이런 자동화가 필요하다는 설명이다.

안전과 한계도 솔직하게 다뤄졌다. 연구진은 기계학습만으로는 위험한 행동을 하지 않는다고 보장할 수 없다고 보고, 충돌 회피와 비상 정지처럼 우회할 수 없는 안전 장치를 함께 둔다고 밝혔다. 언어 모델 점수와 어포던스 점수가 각각 드러나기 때문에 사람이 판단 과정을 읽고 디버깅할 수 있다는 점도 장점으로 꼽혔다. 실패 사례로는 같은 계획을 무한 반복하는 언어 모델 오류, 긴 지시를 절반만 하고 끝내버리는 조기 종료, 성공 확률을 잘못 매기는 어포던스 오분류가 소개됐다.

가정용 로봇이 언제 오느냐는 질문에 발표자는 '매우 어려운 질문'이라며 아직 연구 단계라고 답했다. 남은 과제로는 조작 기술 자체의 부족, 로봇이 스스로 필요한 데이터를 모으는 방법, 기술이 늘어도 이전 것을 잊지 않는 구조, 그리고 실시간으로 쓰기에는 느린 추론 속도가 꼽혔다. 언어 모델이 지도학습에서 인터넷 데이터를 활용하는 쪽으로 옮겨가며 도약했듯, 로봇도 세상의 값싼 데이터를 쓸 방법을 찾아야 한다는 것이 발표자의 전망이다.

주요 인사이트

• 언어 모델을 로봇에 붙인다는 말은 로봇을 말로 조종한다는 뜻이 아니라, 계획 수립 부분을 언어 모델로 갈아 끼운다는 뜻이다. 세계 상태와 로봇 상태까지 자연어로 서술해 모델에 넣는 접근이 인상적이다.
• 언어 모델과 어포던스 모델이 서로를 견제하는 구조가 안전 설계이기도 하다. 생성형 모델이 무엇이든 제안할 수 있는 반면, 어포던스 모델은 실제로 가능한 행동의 범위로 그것을 묶어둔다.
• 밑단의 조작 기술이 성능의 천장을 결정한다. 계획이 84퍼센트로 성공해도 집기와 놓기 같은 기본 동작이 부실하면 전체 성공률은 그만큼 내려간다.
• 판단 근거가 자연어와 점수로 드러나 사람이 읽을 수 있다는 점은, 블랙박스 정책 하나로 끝내는 접근과 비교할 때 실무에서 큰 차이를 만든다.
• 이 강연은 2022년 11월 모임을 녹화한 것으로, 이후 로봇 파운데이션 모델 논의의 출발점에 해당하는 문제의식과 실패 사례를 확인할 수 있다.

자주 묻는 질문

관련 AI 소식