범용 로봇 파운데이션 모델 개발기: 첼시 핀이 공개한 빨래 개기 로봇의 사전학습·사후학습 레시피

핵심 메시지

• 지금까지 로봇 문제는 응용 하나마다 회사를 통째로 새로 세워야 풀렸다. 물류, 실험실 자동화, 주방, 수술용 로봇이 각각 별도의 하드웨어와 소프트웨어를 처음부터 요구했기 때문이다.
• 규모는 필요조건이지 충분조건이 아니다. 산업 자동화 데이터는 양은 많지만 행동이 다양하지 않고, 유튜브 영상은 신체 구조가 다르며, 시뮬레이션은 현실과 간극이 있다.
• 돌파구는 언어 모델에서 빌려왔다. 전체 데이터로 사전학습한 뒤 엄선된 고품질 시연 데이터로 사후학습하는 조합이 성공률 0%를 뚫은 결정적 변화였다.
• 이동형 조작 데이터는 전체 사전학습 혼합의 2.4%에 불과했다. 나머지 데이터를 빼자 처음 보는 집에서의 성능이 60% 아래로 떨어졌다.
• 언어 모델로 가상의 사용자 요청을 합성해 기존 로봇 데이터에 붙이는 방식으로, 로봇이 열린 형태의 지시와 중간 개입에 반응할 수 있게 만들었다.

쉽게 이해하기

첼시 핀은 스탠퍼드 교수이자 피지컬 인텔리전스(Physical Intelligence) 공동창업자다. 그가 강연 서두에 던진 문제는 이것이다. 로봇 응용을 제대로 풀려면 그 응용만을 위한 회사를 통째로 세워야 한다. 새 하드웨어를 만들고, 전용 소프트웨어를 짜고, 그 응용에만 맞는 동작 원형을 설계하고, 예외 상황을 전부 처리해야 한다. 그래서 많은 로봇 회사가 실제 일상에 로봇을 들여놓는 데 실패해 왔다는 것이다.

그 대안이 어떤 로봇이든, 어떤 환경에서든, 어떤 작업이든 수행하게 만드는 범용 모델이다. 그는 코딩 어시스턴트를 예로 든다. 요즘은 코딩 전용 모델을 처음부터 만들지 않고, 코드만이 아닌 방대한 데이터로 학습된 모델 위에 쌓아 올린다. 로봇에서도 같은 일이 가능하다면 응용마다 백지에서 시작할 필요가 없어진다.

다만 규모만으로는 안 된다는 것이 그의 결론이다. 산업 자동화 데이터는 같은 동작을 무한히 반복한 것이라 재난 현장에 들어가거나 샌드위치를 만드는 데 필요한 행동 다양성이 없다. 유튜브에는 사람이 무언가 하는 영상이 넘치지만, 우리는 남이 쓰는 걸 본다고 글을 배우지 않고 윔블던을 본다고 테니스 선수가 되지 않는다. 시뮬레이션 데이터는 현실감이 부족하다. 규모는 필요하지만 문제 해결에 종속된 조건이라는 것이다.

가장 인상적인 사례로 그는 건조기에서 빨래를 꺼내 개는 작업을 든다. 로봇이 한 번 수행하는 데 10분이 걸리고, 옷이 구겨진 상태의 변주가 끝없으며, 바닥에 떨어뜨리면 복구가 어려운 치명적 실패가 곳곳에 있다. 팀은 단일 브랜드·단일 사이즈 셔츠를 평평한 상태에서 개는 것부터 시작해, 구겨진 상태, 빨래 바구니에서 시작하는 상태, 크기가 제각각인 셔츠와 반바지로 난이도를 단계적으로 올렸다.

그러다 2~3개월간 아무것도 통하지 않는 시기가 왔다. 성공률 0%가 이어지는 동안 팀은 메모리와 히스토리가 필요한지, 학습을 더 오래 돌려야 하는지, 관절 공간이 아니라 말단 공간에서 제어해야 하는지, 계층 구조가 필요한지, 해상도를 높여야 하는지를 모두 시험했다. 돌파구는 언어 모델 쪽에서 왔다. 전체 데이터로 정책을 학습시키는 대신, 전체 데이터로 사전학습한 뒤 일관되고 품질 높은 시연 데이터만 골라 사후학습(fine-tuning)한 것이다. 이 변화 이후 로봇은 다섯 벌을 연속으로 개어 쌓았다.

이후 팀은 30억 파라미터 비전-언어 모델 PaliGemma를 backbone으로 쓰는 pi-zero 구조로 옮겼다. 카메라 이미지와 언어 명령을 받아, 디퓨전 계열의 플로 매칭 헤드가 관절 각도와 함께 앞으로 50스텝, 약 1초 분량의 행동 묶음을 예측한다. 기존 1억~3억 파라미터 모델을 이 10배 큰 사전학습 모델로 갈아 끼우자 다섯 벌을 개는 시간이 12분에서 9분으로 줄었고, 처음 보는 옷에 대한 대응과 접기 품질의 일관성도 함께 좋아졌다.

주요 인사이트

• 사전학습과 사후학습을 각각 빼고 비교한 실험에서, 둘 중 하나라도 빠지면 로봇은 사실상 바구니에서 옷을 꺼내는 단계까지만 진행하고 그 이후로 거의 나아가지 못했다. 두 단계를 결합했을 때만 펼치고 개고 쌓는 데까지 도달했다.
• 이 레시피에는 빨래에만 국한된 요소가 없다. 같은 방식으로 사후학습하자 로봇은 식탁 정리, 커피 원두 계량, 골판지 상자 하단 조립, 성냥으로 초 켜기까지 해냈고, 핀이 실물을 본 적도 없는 다른 회사 로봇에 데이터를 받아 미세조정한 것만으로 커피를 내리게 만들 수 있었다.
• 처음 가보는 환경에서 작동하게 만든 열쇠는 다양성이었다. 팀은 샌프란시스코 일대의 실제 가정과 모의 주방·침실을 포함해 100개가 넘는 방에서 데이터를 모았다. 그런데 이 이동형 조작 데이터는 전체 사전학습 혼합의 2.4%에 불과했고, 나머지 정적 조작·웹 데이터를 빼자 처음 보는 집에서의 성능이 60% 아래로 떨어졌다.
• 초기 모델은 언어 지시를 자주 무시했다. 원인은 무작위로 초기화된 디퓨전 행동 헤드가 비전-언어 모델에 이미 들어 있던 사전 지식을 훼손하는 데 있었다. 토큰화된 행동을 예측하게 하고 디퓨전 헤드에서 오는 그래디언트를 차단하자 학습이 빨라졌고, 지시 이행률이 20%에서 80%로 올랐다.
• 열린 형태의 지시를 처리하기 위해 팀은 사람과 로봇의 상호작용을 새로 모으는 대신 합성 데이터를 썼다. 기존 로봇 데이터의 각 장면에 대해 비전-언어 모델에게 '이 상황을 만들었을 법한 사람의 요청은 무엇이었을까'를 묻고, 그 가상 프롬프트로 상위 정책을 학습시켰다. 그 결과 '피클은 빼고 비건 샌드위치를 만들어달라'거나 '바구니에 없는 단 걸 가져다달라' 같은 요청에 대응하게 됐다.

자주 묻는 질문

관련 AI 소식