GR00T N1 논문 정리: 시각·언어·행동을 하나로 묶은 휴머노이드 로봇 파운데이션 모델의 구조

핵심 메시지

• GR00T N1은 2025년 GTC에서 공개된 범용 휴머노이드 로봇용 오픈 파운데이션 모델로, 시각·언어·행동을 하나의 모델로 묶은 VLA 구조다.
• 인지과학의 이중 처리 이론에서 착안해 환경을 해석하는 '시스템 2'(비전-언어 모델)와 실시간 행동을 만드는 '시스템 1'(디퓨전 트랜스포머)을 분리했다.
• 로봇 데이터가 부족하고 기종마다 조각나 있다는 문제를 웹 영상·합성 데이터·실제 로봇 데이터를 층으로 쌓는 '데이터 피라미드' 전략으로 풀었다.
• 학습에 쓰이지 않은 새로운 물체와 용기를 놓고도 제로샷 성공률 73.3%를 기록해, 사전학습만으로도 일반화가 어느 정도 된다는 점을 보였다.
• 실험이 대부분 테이블 위 짧은 작업에 머물러 있다는 점은 저자들도 한계로 인정하며, 이동(로코모션)과 데이터 생성 개선을 후속 과제로 제시한다.

쉽게 이해하기

발표자는 GR00T N1을 '범용 휴머노이드 로봇을 위한 오픈 파운데이션 모델'로 소개하며, 기존 로봇 학습이 부딪히던 네 가지 벽을 먼저 정리한다. 좁은 도메인에서만 동작하는 태스크 특화 문제, 실험용으로 세팅된 환경을 벗어나면 무너지는 문제, 대규모 데이터셋의 부재, 그리고 로봇마다 몸체가 달라 학습을 공유하기 어려운 임바디먼트 갭이다. 자연어 처리와 비전이 대규모 사전학습으로 일반화를 얻은 것과 달리, 로봇에는 그만한 데이터가 애초에 없다는 진단이다.

구조의 핵심은 역할 분리다. 시스템 2는 비전-언어 모델로 이미지와 언어 지시를 함께 받아 환경을 해석하고 추론하는데, 무거운 대신 초당 열 번 안팎으로 느리게 돌아간다. 시스템 1은 그 해석을 크로스 어텐션으로 받아 실제 관절 움직임을 만들어내는 디퓨전 트랜스포머로, 약 7천만 개 파라미터의 가벼운 모델이라 초당 120회 수준의 빠른 제어가 가능하다. 흥미로운 발견은 비전-언어 모델의 마지막 층이 아니라 중간 층의 임베딩을 가져다 썼을 때 추론도 빠르고 실제 성공률도 더 높았다는 점이다.

데이터 문제는 피라미드로 접근한다. 맨 아래의 웹 영상과 사람 시점 영상에는 행동 라벨이 없으므로, VQ-VAE 계열 기법으로 잠재 행동 공간을 학습해 의사 라벨을 붙인다. 발표자는 일반 VAE 대신 벡터 양자화를 쓴 이유로 사후분포 붕괴 문제를 든다. 중간층의 합성 데이터는 시뮬레이션과 현실의 간극이 문제인데, 영상 생성 모델로 장면을 사실적으로 다시 만들어내는 '뉴럴 트래젝토리' 방식으로 이를 메운다. 맨 위의 실제 로봇 데이터는 기종마다 다른 행동 차원을 통합 행동 공간으로 매핑해 함께 학습한다.

세부 설계도 효율에 맞춰져 있다. 이미지 토큰은 픽셀 셔플로 224×224 이미지를 256개 토큰에서 64개로 줄이면서 채널을 늘려 추론 속도를 확보했고, 국소 특징에 강한 인코더와 전역 특징에 강한 인코더를 함께 써 트레이드오프를 절충했다. 행동 생성은 플로우 매칭 목적 함수로 잡음에서 정답 행동으로 가는 벡터 필드를 학습하며, 한 번에 16스텝짜리 행동 청크를 네 번의 반복만으로 뽑아낸다. 노이즈 샘플링에 베타 분포를 쓴 것도 더 강한 잡음 구간에서 견고하게 학습시키기 위한 선택이다.

평가는 시뮬레이션 벤치마크와 실제 로봇 양쪽에서 이뤄졌다. 사전학습만 마친 모델은 학습에 등장한 물체 조합에서 76.6%, 처음 보는 물체와 용기에서 73.3%의 성공률을 보였다. 데이터의 10%만 쓴 퓨샷 조건에서 비교 대상인 디퓨전 폴리시가 30%를 밑돈 반면 GR00T N1은 그 위를 유지했고, 전체 데이터를 쓴 조건에서도 우위가 유지됐다. 다만 실험이 테이블 위 조작 작업과 짧은 작업 길이에 집중돼 있다는 점, 합성 데이터의 다양성 확보가 여전히 어렵다는 점은 저자들이 직접 밝힌 한계다.

주요 인사이트

• '추론은 느려도 되지만 몸은 빨라야 한다'는 제약을 구조로 풀었다는 점이 이 논문의 실용적 매력이다. 무거운 비전-언어 모델과 가벼운 행동 생성기를 서로 다른 주기로 돌리는 설계는 실시간 제어가 필요한 로봇에서 특히 설득력이 있다.
• 임바디먼트별 인코더·디코더를 두어 서로 다른 형태의 로봇을 하나의 표현 공간으로 모은 점은, 데이터가 기종별로 조각나 있는 로봇 분야에서 '파운데이션 모델'이 성립하기 위한 최소 조건에 가깝다.
• 행동 라벨이 없는 웹 영상을 잠재 행동으로 의사 라벨링해 끌어다 쓰는 전략은, 로봇 데이터 부족을 인터넷 규모 데이터로 우회하려는 시도의 대표적인 형태다.
• 발표자가 짚은 흥미로운 관찰 하나는 데모 수가 늘어날수록 특정 로봇에서는 오히려 성능이 떨어졌다는 점이다. 사전학습에 이미 유사한 몸체가 많이 들어간 경우 적은 데모로도 빨리 적응하지만 데이터를 늘리면 과적합으로 이어질 수 있다는 해석이다.
• 질적 분석에서 사전학습 모델은 동작이 군더더기 많고 둔했지만 작업 자체는 성공했고, 사후학습으로 미세조정하자 불필요한 동작이 크게 줄었다. 파운데이션 모델과 현장 튜닝의 역할 분담을 보여주는 대목이다.

자주 묻는 질문

관련 AI 소식