로봇 파운데이션 모델과 시뮬레이션 학습: 디터 폭스 ETH 취리히 초청 강연 핵심 정리

핵심 메시지

• 언어 모델이 스케일링의 한계를 이야기하는 지금, 로봇 학습은 오히려 이제 막 스케일링 시대에 들어섰다는 것이 폭스 교수의 진단이다.
• 시연 데이터로 학습한 로봇은 블록 두 개와 네 개는 쌓아도 세 개는 쌓지 못한다. 눈에 보이는 성능과 실제 유능함은 전혀 다른 문제다.
• 사람 영상, 텔레오퍼레이션, 그리퍼 시연, 물리 시뮬레이션, 비디오 월드 모델은 각각 장단이 뚜렷해 결국 여러 데이터를 섞을 수밖에 없다.
• 시뮬레이션만으로 학습한 파지·배치·정밀 조립 정책이 실제 로봇으로 그대로 옮겨간 사례가 여러 건 제시됐다.
• 폭스 교수는 장난감 블록 세계를 출발점 삼아 '데이터를 얼마나 늘리면 일반화가 생기는가'를 과학적으로 검증하려 한다.

쉽게 이해하기

워싱턴대학교 앨런스쿨 교수이자 비영리 연구기관 Ai2의 선임 연구 디렉터인 디터 폭스가 ETH 취리히의 로봇 학습 강좌에 초청 강연자로 나섰다. 그는 NVIDIA에서 8년 가까이 로보틱스 연구팀을 이끌며 시뮬레이션 기반 로봇 학습을 다뤄온 인물이다. 이번 강연의 주제는 특정 기술이 아니라 '유능한 로봇(competent robots)'을 어떻게 만들 것인가라는 방향성이었다.

그는 일리야 수츠케버의 '스케일링의 시대가 끝나고 연구의 시대가 온다'는 발언을 인용하며 이야기를 시작했다. 다만 로봇 분야는 정반대라고 봤다. 지금 로봇 모델의 발목을 잡는 것은 연산량이나 모델 구조가 아니라 학습 데이터의 절대량이며, 데이터가 충분히 쌓이기 전에 나온 아키텍처 우열 비교는 데이터가 늘어나는 순간 의미를 잃을 수 있다는 것이다.

강연의 핵심 개념은 로드니 브룩스에게서 빌려온 '성능 대 유능함'이다. 사람은 30분 운전을 보고 그 사람이 어떤 길에서도 운전할 수 있다고 판단하지만, 로봇에는 그런 일반화가 통하지 않는다. 폭스 팀은 1만 시간이 넘는 텔레오퍼레이션 데이터로 사전학습된 모델을 가져와 블록 쌓기를 시켰는데 그대로는 실패했고, 50회의 추가 시연을 준 뒤에야 두 개를 쌓았다. 네 개 쌓기도 학습시켰지만 정작 세 개는 쌓지 못했다. 로봇에게 2, 3, 4라는 개념 자체가 없었기 때문이다.

데이터를 늘리는 방법으로는 사람의 1인칭 영상, 로봇 텔레오퍼레이션, 사람 손에 로봇과 같은 그리퍼를 쥐여 주고 모으는 시연, 물리 시뮬레이션, 비디오 월드 모델이 거론됐다. 사람 영상은 규모는 크지만 신체 구조 차이가 크고, 월드 모델은 아직 정밀도가 떨어지고 환각을 일으킨다. 폭스가 힘을 싣는 쪽은 시뮬레이션이다. 그는 100만 개 규모의 그리퍼 자세를 물리 엔진에서 검증해 파지 데이터를 만들고, 포인트 클라우드를 입력받는 트랜스포머로 학습해 실제 로봇이 처음 보는 물체를 집게 한 사례, 확산 모델로 책과 캔을 선반에 배치하게 한 사례, 촉각 센서까지 시뮬레이션해 조명을 끈 상태에서 핀을 삽입하고 기어와 너트를 조립하게 한 사례를 차례로 보여 줬다.

그 연장선에서 그가 제안한 것이 '파운데이션 월드'다. 물리와 렌더링이 현실에 가깝고, 과제와 시연과 벤치마크를 자동으로 만들어 낼 수 있으며, 사람이 할 수 있는 일은 로봇도 할 수 있어야 하는 환경이다. 첫 무대로 고른 것은 의외로 장난감 블록이다. 블록으로 ROBOT이라는 단어를 쌓으려면 블록을 찾고 밀고 뒤집고 정렬하는 저수준 제어와 의미 수준의 추론이 동시에 필요한데, 에셋이 단순해 시뮬레이션하기 쉽다는 장점이 있다. 최종 목표는 일종의 튜링 테스트다. 누구나 접속해 30분간 로봇에게 이런저런 탑을 쌓아 달라고 요구한 뒤에도 사람이 원격 조종한 것인지 모델이 움직인 것인지 구분하지 못한다면, 그때는 정말 강력한 무언가를 손에 넣은 것이라고 그는 말했다.

주요 인사이트

• 논문 말미에 멋진 데모를 붙이는 관행은 무엇이 되고 무엇이 안 되는지에 대한 과학적 통찰을 주지 못한다는 지적이 강연 내내 반복됐다.
• 실제 로봇으로 벤치마크를 돌리는 일은 그의 표현으로 '악몽'이다. 평가 속도를 끌어올리기 위해서라도 현실적인 시뮬레이션이 필요하다는 논리다.
• 그리퍼로 모은 실데이터는 손 형태가 바뀌는 순간 상당 부분 버려야 하지만, 시뮬레이션은 다른 신체 구조로 데이터를 다시 생성할 수 있다.
• 현실에서 강화학습을 확장하기 어려운 이유는 보상 함수 설계와 매번 초기 상태로 되돌리는 리셋 때문이다. 시뮬레이션 사전학습은 이 비용을 줄이는 우회로다.
• 모델 평가를 과제 성공률로만 하는 것은 부족하며, 물체에 가하는 힘과 안전성, 일반화 범위까지 함께 봐야 한다는 문제 제기도 나왔다.

자주 묻는 질문

관련 AI 소식