π0.7 논문 리뷰: 실패·저품질 로봇 데이터에 맥락을 붙여 학습하는 파운데이션 모델

핵심 메시지

• π0.7의 핵심은 모델을 키우는 것이 아니라, 로봇 데이터에 품질·속도·실수 여부 같은 맥락을 라벨로 붙여 학습시키는 것이다.
• 다양한 품질의 데이터를 그냥 섞으면 모델은 애매한 평균 행동을 배운다. 메타데이터가 있으면 실패 데이터도 버리지 않고 실패라는 이름표를 붙여 학습할 수 있다.
• 메타데이터나 자율 실행 데이터를 빼는 실험에서 성능이 떨어졌고, 특히 시간당 성공 횟수에서 차이가 크게 나타났다.
• 훈련 데이터에 없던 에어프라이어·토스터 작업을 사람의 단계별 언어 코칭으로 수행했고, 그 코칭 기록을 다시 상위 정책 학습에 재활용했다.
• 형태가 다른 UR5 로봇으로 옮겼을 때 원본 로봇의 궤적을 따라 하지 않고 긴 팔에 맞는 새 전략을 찾아냈다. 논문 제목에 있는 창발적 능력이 이 대목이다.

쉽게 이해하기

사람처럼 보고 이해하고 실제 물리 세계에서 행동하는 로봇 파운데이션 모델을 두고 경쟁이 빨라지는 가운데, 피지컬 인텔리전스가 새 논문 π0.7을 공개했다. 영상은 이 논문이 던지는 질문이 기존 VLA(비전·언어·행동) 모델과 다르다고 짚는다. 카메라 이미지와 언어 명령을 받아 로봇 동작을 출력하는 구조에 집중하던 흐름에서 한 걸음 나아가, 로봇이 어떤 데이터를 어떻게 배워야 진짜 범용성이 생기는가를 다룬다는 것이다. 논문이 내세우는 범용성은 작업별 파인튜닝 없이 고난도 조작을 해내는지, 처음 보는 주방에서 복잡한 지시를 따르는지, 다른 형태의 로봇으로 능력을 옮길 수 있는지, 배운 기술을 조합해 새 작업을 해내는지 네 가지로 정리된다.

문제의식은 로봇 데이터의 이질성에서 출발한다. 같은 '문 열기' 데이터 안에도 잘 연 사례, 느리게 연 사례, 중간에 헛손질한 사례, 실패한 사례가 섞여 있다. 이런 데이터를 그냥 섞으면 모델은 어떤 행동이 좋은 행동인지 구분하지 못하고 애매한 평균 행동을 배운다. π0.7은 각 데이터에 더 풍부한 프롬프트를 붙이는 방식으로 이 문제에 접근한다. 이 에피소드가 얼마나 빠른지, 품질은 어느 정도인지, 실수가 있었는지, 어떤 제어 모드로 수행됐는지, 그리고 앞으로 도달해야 할 장면이 어떤 모습인지까지 함께 넣는다.

구조는 세 부분으로 나뉜다. 이미지와 언어를 함께 이해하는 백본에는 젬마 3 계열의 40억 파라미터급 모델을 쓰고, 여기에 로봇 카메라 이미지와 언어 명령, 중간 목표 이미지, 메타데이터를 함께 넣는다. 두 번째는 영상 히스토리 인코더로, 최대 네 개의 카메라 뷰와 카메라당 여러 과거 프레임을 압축해 현재 판단에 쓴다. 세 번째는 실제 동작을 내보내는 액션 엑스퍼트로, 앞으로 수십 스텝 동안의 짧은 행동 궤적을 묶음으로 출력한다. 실행 시점에는 상위 정책이 만든 하위 작업 지시와 월드 모델이 만든 목표 장면 이미지를 함께 조건으로 받는다.

성능 비교에서 π0.7은 작업별 추가 학습 없이도 특정 작업에 맞춰 따로 학습된 스페셜리스트 모델과 비슷한 결과를 내거나 시간당 성공 횟수에서 앞섰다. 왜 잘되는지를 확인하는 실험에서 메타데이터를 뺀 버전과 자율 실행 평가 데이터를 뺀 버전은 모두 성능이 떨어졌고 특히 처리량 차이가 컸다. 지시 이행에서도 '가장 큰 접시 위에 있는 과일을 집어라' 같은 복잡한 참조 표현에서 π0.5나 π*0.6보다 나았고, 목표 이미지를 함께 쓰는 버전은 더 올라갔다. 학습 데이터가 늘 그렇게 해 온 것과 반대로 접시를 쓰레기통에 넣으라는 식의 지시도 어느 정도 따라갔다.

가장 흥미로운 부분은 훈련 데이터에 없던 긴 작업을 수행하는 방식이다. 에어프라이어에 고구마 넣기 같은 작업은 몇 분 동안 이어지는 여러 단계의 조작이 필요해 한 번의 명령으로는 아직 어렵다. 대신 사람이 손잡이를 잡아라, 문을 열어라, 고구마를 집어라 하는 식으로 단계마다 말로 안내하는 코칭을 쓴다. 여기서 얻은 상황과 언어 지시 쌍을 모으면 새 텔레오퍼레이션 데이터 없이도 상위 정책을 학습시킬 수 있고, 이후에는 사람이 옆에서 계속 말해 주지 않아도 로봇이 스스로 다음 지시를 만들어 낸다.

주요 인사이트

• 로봇 데이터는 언어 데이터처럼 양만 늘려서는 범용성이 생기지 않는다. 같은 '컵 집기'라도 어떤 로봇이, 얼마나 빠르게, 중간에 미끄러졌는지, 사람이 개입했는지에 따라 의미가 완전히 달라지기 때문이다.
• 데이터를 많이 모을수록 평균 품질은 오히려 떨어진다. 그런데 메타데이터를 함께 쓰면 규모가 커질수록 성능이 계속 좋아지고, 쓰지 않으면 저품질이 섞일수록 성능이 나빠진다. 규모 확대의 효과가 맥락 표기 여부에서 갈린다는 뜻이다.
• 셔츠 접기처럼 말로 설명하기 어려운 작업에서는 도달해야 할 장면을 그린 목표 이미지가 결정적이다. 길을 알려줄 때 '저 건물 옆으로 가세요'보다 사진을 보여주는 편이 명확한 것과 같은 이치라고 설명한다.
• 새 작업을 가르치는 비용이 직접 조종에서 언어 코칭으로 옮겨갈 수 있다. 텔레오퍼레이션은 숙련과 시간이 필요하지만 말로 안내하는 것은 훨씬 자연스럽고 값싸다. 다만 모델이 기본 조작 능력과 지시 이행 능력을 충분히 갖춘 뒤에야 성립한다.
• 작업 다양성이 높은 로봇 데이터를 제거하면 조합 일반화 성능이 크게 떨어졌다. 실제 로봇 데이터 안에 담긴 다양한 작업 경험 자체가 새 작업을 조합해 내는 능력의 바탕이라는 의미다.

자주 묻는 질문

관련 AI 소식