휴머노이드 로봇 파운데이션 모델 Ψ0: 1인칭 영상 사전학습으로 이동과 조작을 통합한 스탠퍼드 세미나 정리

핵심 메시지

• Ψ0는 이동(로코모션)과 조작(매니퓰레이션)을 따로 두지 않고, 하나의 모델이 팔·손과 하반신 명령을 동시에 내도록 만든 휴머노이드용 비전-언어-행동 모델이다.
• 인터넷 영상 대신 사람이 머리에 쓴 카메라로 찍은 1인칭 영상과 손 추적 데이터를 사전학습에 쓰면, 시점과 행동 표현이 휴머노이드와 자연스럽게 맞아떨어진다.
• 연구팀은 20여 대의 자체 제작 촬영 장비로 이미 1,000시간이 넘는 1인칭 데이터를 모았고, 올해 목표는 1만 시간이라고 밝혔다.
• Ψ0는 사전학습 데이터를 기존 최고 성능 모델의 10분의 1만 쓰고도 성공률이 약 40% 높았다는 것이 발표팀의 비교 결과다.
• 추론 지연 때문에 생기는 동작 끊김과 떨림은 '실시간 청킹'으로 해결했다. 이전에 예측해 둔 행동의 남은 부분을 조건으로 삼아 다음 구간을 이어 그린다.

쉽게 이해하기

미국 서던캘리포니아대(USC)의 웨 왕(Yue Wang) 조교수 연구실이 스탠퍼드대 로보틱스 세미나에서 휴머노이드용 파운데이션 모델 Ψ0를 발표했다. 발표자는 최근 몇 년 사이 자율주행차와 사족·이족 로봇, 정밀 조작기가 잇달아 성과를 냈지만, 정작 '걸어가서 무언가를 처리하는' 일은 여전히 해결되지 않았다고 진단했다. 걷기는 대규모 시뮬레이션으로 상당 부분 풀렸지만, 걷기와 손 쓰기를 결합하고 거기에 지시를 이해하는 능력까지 얹는 일은 아직 별개의 난제라는 것이다.

문제의 핵심 중 하나는 행동 공간의 크기다. 지금까지 널리 쓰인 비전-언어-행동 모델은 고정된 받침대 위의 두 팔, 대략 18개 자유도를 다루는 과제를 전제로 설계됐다. 반면 발표에서 사용한 휴머노이드는 팔 7개, 허리 3개, 손 7개, 다리 6개 식으로 관절이 늘어나 전체 40여 개 자유도를 한꺼번에 제어해야 한다. 기존 모델을 그대로 얹어서는 작동하지 않는다는 뜻이다.

연구팀이 택한 우회로는 데이터였다. 인터넷 영상은 양은 많지만 시점이 로봇과 다르고 행동 정보가 거의 없으며, 시뮬레이션은 물리와 시각의 격차가 남고, 사람이 원격 조종해 모은 실제 데이터는 품질은 좋지만 수집 비용이 크다. 그래서 카메라 네 대를 얹은 단순한 모자 형태 장치를 만들어, 사람이 평소 일을 하는 동안 1인칭 영상과 손 움직임을 함께 기록했다. 하루에 한 사람당 다섯 시간씩 쌓을 수 있고, 무엇보다 촬영 시점이 휴머노이드의 머리 위치와 비슷해 관찰 공간이 자연스럽게 맞는다.

학습은 두 단계로 나뉜다. 먼저 1인칭 영상과 설명 문장을 넣고 손의 움직임을 이산 토큰으로 예측하도록 백본을 사전학습한다. 손목 자세와 손가락 끝 위치를 합쳐 48차원이 되는 행동 벡터를 주파수 변환과 양자화를 거쳐 13차원 토큰으로 압축했더니 수렴이 빨라졌다. 이어 사전학습한 백본은 고정한 채, 로봇을 실제로 원격 조종해 모은 데이터로 행동 전문가만 학습시킨다. 이때 시각·언어 특징과 행동 특징을 처음부터 이어 붙여 함께 주의를 계산하는 구조로 바꾼 것이 성능에 큰 영향을 줬다고 한다.

배포 단계의 과제는 속도였다. 모델이 한 번에 여러 스텝의 행동을 예측하는데 추론에 시간이 걸리다 보니, 새 예측이 준비될 즈음이면 로봇은 이미 이전 예측의 뒷부분을 실행하고 있다. 그대로 갈아끼우면 동작이 튀고, 단순히 이어 붙이면 장애물에 부딪힌다. 연구팀은 겹치는 구간의 행동을 미리 알고 있다고 가정하고 그 부분을 조건으로 나머지를 채워 넣도록 학습시키는 방식을 휴머노이드 제어에 적용해, 끊김 없는 연속 동작을 얻었다.

주요 인사이트

• '사람 시점 데이터'의 가치는 양이 아니라 정렬에 있다. 카메라 위치가 로봇 머리와 비슷하고 손 관절 표현이 로봇 손과 닮아 있으면, 관찰과 행동 양쪽에서 변환 없이 그대로 쓸 수 있다.
• 데이터를 무작정 늘리는 것보다 어떤 데이터를 쓰느냐가 효율을 좌우한다. 발표팀은 사전학습에 800시간대 데이터만 쓰고도 1만 시간대를 쓴 모델을 앞섰다고 밝혔다.
• 구조상의 작은 선택이 큰 차이를 만든다. 시각·언어 특징과 행동 특징을 마지막에 섞느냐 처음부터 함께 넣느냐만 바꿔도 성능이 크게 올랐고, 발표자는 이 방식이 영상 생성 쪽에서는 흔한데 로봇 모델에서는 잘 쓰이지 않는다고 지적했다.
• 연구팀이 함께 공개한 데이터셋은 1만여 개 궤적, 300만 프레임, 260개 과제 규모다. 다만 같은 데이터로 여러 정책을 비교해 보니 가장 어려운 과제에서는 모든 방법이 사실상 실패해, 남은 과제가 크다는 점도 함께 드러났다.
• 실물 로봇이 없는 연구자를 위해 정책을 보내면 실제 로봇에서 대신 평가해 성공률을 돌려주는 클라우드 평가 방식을 운영한다는 점도 눈여겨볼 만하다.

자주 묻는 질문

관련 AI 소식