범용 로봇의 현주소: 강화학습으로 처리량 2배, 다중 시간 척도 메모리로 15분 주방 청소까지

핵심 메시지

• 물리 세계에서 움직이는 AI는 사람이 판단을 대신해 주지 못하므로 기존 AI보다 훨씬 적게 틀려야 한다.
• 로봇 강화학습의 진짜 비용은 연산이 아니라 실제 로봇이 실제 시간을 쓰는 것이다.
• 막다른 길에 들어선 시도를 사람이 개입해 되돌리고, 범용 가치 함수로 시도 횟수를 줄이는 것이 핵심 레시피였다.
• 대부분의 로봇 파운데이션 모델에는 메모리가 없고, 그래서 여러 단계로 이어지는 긴 작업을 못한다.
• 다양한 데이터와 상세한 프롬프팅을 갖추면 단일 모델이 작업별 특화 모델과 대등하거나 더 나은 성능을 낸다.

쉽게 이해하기

스탠퍼드 교수이자 피지컬 인텔리전스 공동창업자인 첼시 핀이 스타트업 스쿨 무대에서 로봇 분야의 현주소를 정리했다. 지난 1년 사이 로봇은 기름진 팬을 닦고, 당근 껍질을 벗기고, 그릴드 치즈를 만들고, 애호박을 써는 수준까지 왔다. 하지만 발표의 초점은 화려한 영상이 아니라 '그 일을 사람이 곁에서 지켜보지 않아도 계속 해내게 만드는 법'에 있었다.

그는 기존 AI 응용과 물리 AI의 결정적 차이를 짚는다. 상품 추천이든 챗봇이든 지금까지 돈을 번 AI는 대체로 사람이 최종 결정을 내렸고, 그래서 모델이 틀려도 사람이 걸러낼 수 있었다. 반면 물리 세계에서 직접 움직이는 시스템은 스스로 결정을 실행하며, 완전 자율로 돌 때 비로소 쓸모가 커진다. 그만큼 요구되는 신뢰도가 다르다. 자율주행 서비스가 주당 25만 회 규모의 무인 주행에 도달한 사례가 그 가능성의 근거로 제시됐다.

구체적인 목표는 에스프레소였다. 포터필터를 정확하고 힘 있게 끼우고, 액체가 담긴 잔을 흘리지 않고 옮기고, 추출 시간을 감각적으로 맞춰야 하는 작업을 90% 넘는 성공률로 해내는 것이다. 사람이 데이터를 계속 손보는 방식은 한계가 있어, 시스템이 스스로 실패에서 배우는 강화학습으로 방향을 잡았다. 문제는 비용이다. 언어 모델은 수백만 번 시도해도 연산만 쓰면 되지만, 1분짜리 로봇 작업을 100만 번 시도하려면 로봇이 700일을 움직여야 한다.

그래서 두 가지를 바꿨다. 하나는 로봇이 이미 잘못된 경로에 들어섰을 때 사람이 원격 조작으로 개입해 복구 방법을 보여 주거나 아예 에피소드를 일찍 끝내는 것이다. 상자 두 장을 한꺼번에 집은 채 계속 접으려 드는 시도는 학습에 도움이 되지 않기 때문이다. 다른 하나는 프롬프트마다 수십 번씩 굴려 가치를 추정하는 대신, 여러 상황에 두루 통하는 범용 가치 함수를 로봇 경험 영상으로 학습시켜 시도 횟수를 줄이는 것이다. 이렇게 만든 정책으로 로봇은 13시간 연속 라떼를 만들었고, 인근 초콜릿 공장의 실제 상자 조립·라벨링·적재 작업에서는 강화학습 단계만으로 처리량이 두 배가 됐다.

다음 재료는 메모리다. 최신 로봇 파운데이션 모델 대부분은 현재 카메라 화면만 보고 행동을 예측할 뿐 맥락이 없다. 반복 작업은 그래도 되지만 여러 단계가 이어지는 작업은 어디까지 했는지를 기억해야 한다. 그렇다고 영상을 그대로 넣을 수는 없다. 카메라 4대의 10초 분량을 초당 50프레임으로 넣으면 토큰이 50만 개에 달하고, 초당 한 장으로 줄여도 1만 개다. 해법은 시간 척도를 나누는 것이었다. 10초 안팎의 짧은 영상 기억은 효율적인 방식으로 유지하고, 수 분에서 수 시간에 걸친 기억은 텍스트 요약으로 압축해 넣는다. 그 결과 로봇은 조리대를 닦고 종이 타월을 버리고 소스를 냉장고에 넣고 그릇을 정리하는 10~15분짜리 주방 청소를 통째로 자율 수행했다.

마지막은 이 모든 것을 하나의 범용 모델에 담는 일이다. 발표자는 범용 AI의 15년을 2012년 딥러닝의 벤치마크 석권, 사전학습 모델 파인튜닝, 곧바로 쓰는 범용 모델, 2021년 조합적 일반화의 신호라는 흐름으로 요약하고, 로봇공학은 불과 3년 전만 해도 프로젝트마다 데이터를 처음부터 모으던 초기 단계에 있었다고 진단했다. 저품질 시연과 정책 롤아웃, 사람 영상, 웹 데이터까지 이질적인 자료를 모두 넣되, 지시와 하위 작업, 데이터 품질 메타데이터, 다음 목표 이미지까지 상세히 프롬프팅하는 방식이 열쇠였다. 이렇게 학습한 단일 모델은 작업별로 파인튜닝한 특화 모델과 대등하거나 더 나은 성능을 냈고, 학습 데이터에 거의 없던 에어프라이어를 다루거나 옷 개기 데이터를 한 번도 받지 않은 대형 산업용 로봇에서 셔츠를 개는 조합적 일반화를 보였다.

주요 인사이트

• 물리 AI의 신뢰도 기준은 추천 시스템과 다르다. 사람이 실수를 걸러 주지 않는 만큼 자율 구간의 오류율이 곧 제품의 한계다.
• 로봇 강화학습을 실용화한 지점은 알고리즘 자체가 아니라 낭비 제거였다. 막다른 시도를 잘라내고 가치 추정을 여러 작업에 분산했다.
• 메모리를 영상으로 통째로 넣는 접근은 토큰 예산에서 이미 무너진다. 시간 척도별로 표현 형식을 바꾸는 설계가 현실적인 답이었다.
• 데이터의 양보다 다양성이 결정적이었다. 가장 다양한 부분을 빼면 처음 보는 작업 성능이 급락했지만, 무작위로 20%를 빼면 소폭 하락에 그쳤다.
• 메타데이터 프롬프팅은 저품질 데이터의 부호를 뒤집었다. 프롬프팅이 없으면 저품질 데이터를 더할수록 성능이 떨어졌지만, 있으면 오히려 올랐다.

자주 묻는 질문

관련 AI 소식