휴머노이드 로봇 학습의 데이터 피라미드: 실제 로봇·시뮬레이션·영상 생성 모델을 섞는 코트레이닝

핵심 메시지

• 로봇 학습의 진짜 병목은 모델 구조가 아니라 데이터다. 실제 로봇으로 모으는 데이터는 하루 24시간이라는 물리적 상한이 있고, 로봇 한 대를 돌리는 데 사람 두세 명이 붙어야 해서 투입한 돈과 시간에 비례해 선형으로만 늘어난다.
• 연구진은 웹 데이터·합성 데이터·실제 로봇 데이터를 층으로 쌓은 "데이터 피라미드"를 제안하고, 세 층을 한 배치 안에서 동시에 섞어 학습하는 코트레이닝이 시뮬레이션으로 먼저 학습한 뒤 실제 데이터로 미세조정하는 방식보다 잘 작동한다고 밝혔다.
• 생성 AI 도구의 등장으로 합성 데이터의 경제성이 달라졌다. 사람이 일일이 3D 자산을 만들고 물리 값을 맞추던 작업을 모델이 대신하면서, 주방 수천 개 규모의 시뮬레이션 환경과 시연 궤적을 자동으로 찍어낼 수 있게 됐다.
• 영상 생성 모델로 로봇 시연 영상을 만들고, 별도의 역동역학 모델로 프레임 사이의 행동을 채워 넣어 학습 데이터로 바꾸는 접근도 소개됐다. 물리 엔진으로 구현하기 까다로운 변형·접촉이 많은 작업에서 특히 쓸모가 있다.
• 발표자는 휴머노이드가 "될 것이냐"가 아니라 "언제 되느냐"의 문제라고 보면서도, 평가 방법이 모델 개발보다 더 어려운 미해결 과제이며 결국 실제 로봇에서의 검증을 건너뛸 수 없다고 못박았다.

쉽게 이해하기

UT오스틴에서 로봇 인식·학습 연구실을 이끌면서 엔비디아의 GEAR 랩을 함께 맡고 있는 유커 주 교수가 카네기멜런대 로보틱스 인스티튜트 세미나에서 휴머노이드 로봇 연구의 현재를 정리했다. 그는 십여 년 전 다르파 로보틱스 챌린지의 잇단 실패 이후 찾아온 "휴머노이드 겨울"을 짚으면서, 최근 다시 관심이 몰린 이유를 하드웨어 가격 하락과 AI 기술 발전에서 찾았다.

왜 하필 사람 모양이냐는 질문에 그는 세 가지 근거를 들었다. 로봇의 몸체가 곧 능력의 한계를 정하기 때문에 범용 자율성을 목표로 한다면 사람만큼 다재다능한 형태가 필요하고, 자동차 한 대 값이면 살 수 있을 만큼 하드웨어 가격이 떨어졌으며, 세상이 이미 사람 몸에 맞춰 지어져 있어 건물을 새로 짓지 않고도 로봇을 들여놓을 수 있다는 것이다. 일본의 한 고령자 돌봄 연구소에서 계단과 좁은 복도가 있는 전통 가옥 모형을 보여주며 "왜 다리가 필요한가"를 설명하더라는 일화도 소개됐다.

발표의 핵심은 데이터였다. 언어 모델은 인터넷에서 텍스트를 내려받으면 되지만 로봇 제어 데이터는 인터넷에 없다. 그래서 그는 아래층에 유튜브 영상 같은 웹 데이터, 중간층에 물리 엔진과 렌더러로 만든 합성 데이터, 꼭대기에 실제 로봇으로 모은 데이터를 놓는 피라미드 구조를 제시했다. 실제 로봇 데이터는 품질이 가장 좋지만 수집 현장은 로봇 한 대에 원격 조작자와 환경을 되돌려 놓는 인력이 함께 붙는 대규모 수작업이어서, 돈과 시간에 비례해 선형으로만 늘어난다는 한계가 뚜렷하다.

이 한계를 메우는 도구로 소개된 것이 시뮬레이션이다. 언어로 기술한 과제를 형식 언어로 옮겨 시뮬레이션 환경을 자동 생성하는 파이프라인, 사람이 다섯에서 열 번만 시연하면 물체 위치를 바꿔 가며 궤적을 수천 개로 불려 주는 궤적 증폭 시스템, 주방 수천 곳을 절차적으로 만들어 낸 대규모 환경 등이 차례로 제시됐다. 다만 궤적 증폭은 어느 수준을 넘어서면 다양성이 바닥나 성능이 더 오르지 않고 비슷한 궤적만 반복된다는 점도 함께 공개됐다.

실제와 시뮬레이션 데이터를 한 배치 안에서 비율을 맞춰 섞는 코트레이닝은 단순해 보이지만 효과가 컸고, 왜 되는지를 파고든 분석도 흥미로웠다. 코트레이닝한 모델의 시각 특징은 두 도메인이 비슷한 기하 구조를 갖고 행동 생성에 가까운 층으로 갈수록 서로 겹쳤지만, 선형 분류기 하나면 어느 쪽 데이터인지 거의 100% 구분할 수 있었다. 지식은 옮겨 오되 시뮬레이션과 현실을 혼동하지는 않는 상태가 유리하다는 가설인데, 발표자는 아직 답을 모른다고 솔직히 인정했다.

주요 인사이트

• "시뮬레이션으로 먼저 학습하고 실제 데이터로 미세조정"이라는 익숙한 2단계 방식보다, 이질적인 데이터를 처음부터 함께 보여 주는 쪽이 더 나은 성능을 냈다는 실험 결과가 나왔다. 실제 데이터를 곁들여야 모델이 시뮬레이션에서 무엇을 뽑아내야 하는지 판단한다는 해석이다.
• 코트레이닝의 성패는 개념이 아니라 세부에 달려 있다. 실제 데이터가 훨씬 적기 때문에 균등 샘플링을 하면 존재감이 사라지므로 비율을 손봐야 하고, 카메라 정렬도 정밀 보정까지는 아니어도 어느 정도는 맞춰야 지식이 옮겨 간다.
• 영상 생성 모델로 만든 데이터는 사실감이 높지만 행동 값이 다른 모델의 추정치라 잡음이 섞이고, 접촉과 관통 같은 물리적 오류가 남는다. 반대로 물리 엔진 데이터는 행동 값이 정확한 대신 겉모습에서 격차가 생긴다. 두 약점이 서로 달라 함께 섞는 이유가 된다.
• 벤치마크 수명은 생각보다 짧다. 발표자 연구실이 내놓은 조작 벤치마크는 공개 당시 성공률 40~50%대였는데 지금은 90%대에 이르렀고, 이날 소개된 새 결과는 온라인 강화학습 미세조정으로 99% 선을 넘겼다. 그래서 주방 365개 과제 규모의 더 어려운 벤치마크가 준비되고 있으며, 여기서는 최신 모델도 20~30%에 머문다.
• 평가가 모델 개발보다 어렵다는 지적이 반복됐다. 시뮬레이션 성적과 실제 성적은 상관은 있어도 일치하지 않기 때문에, 결국 실제 로봇에서의 A/B 검증과 학습-평가를 빠르게 도는 파이프라인이 연구 속도를 좌우한다는 것이다.

자주 묻는 질문

관련 AI 소식