제미나이 로보틱스 2 완전 분석 - 성공률 44% 공개와 VLA를 지휘하는 계층 구조

핵심 메시지

• 구글 딥마인드 로보틱스의 전략은 모델(뇌)만 배포하고 하드웨어(몸)는 파트너에게 빌리며, 검사 같은 산업 태스크에서 먼저 수익을 내는 것이다.
• 핵심 구조는 상위 추론 모델인 Embodied Reasoning이 하위 VLA를 지휘하는 계층형 오케스트레이션이며, 딥마인드 스스로 이를 'VLA를 harness한다'고 표현한다.
• 가장 어려운 과제로 꼽은 쓰레기봉투 묶기의 성공률을 44%로 그대로 공개했는데, 잘된 장면만 편집하는 관행에 비하면 이례적으로 투명한 공개다.
• 액션·모션 데이터는 기반 모델 프리트레이닝에 넣으면 오히려 해가 될 수 있다는 힌트가 나왔고, 대신 공간 이해 능력이 프리트레이닝 단계에서 다뤄진다.
• 미국 정부의 외국산 휴머노이드 규제 논의는 하드웨어에 묶인 모델에는 악재지만, 하드웨어를 만들지 않는 딥마인드에는 상대적으로 유리하게 작용할 수 있다.

쉽게 이해하기

구글 딥마인드가 제미나이 로보틱스 2와 함께 새 데모를 내놓았다. 영상에 나온 장면 중 하나는 로봇이 테이프를 집어 파란 트레이에 넣는 도중 누군가 밝은 빨간 조명을 들이미는 상황이다. 로봇은 하던 일을 멈추고 "밝은 빛 때문에 멈췄으니 계속해도 될 때 알려달라"고 말로 응답했다. 시야를 가방으로 가리자 "테이블도 테이프도 안 보이니 가방을 치워달라"고 요청했고, 치워주자 "훨씬 낫다"며 작업을 이어갔다.

이런 반응이 가능한 이유는 모델이 하나가 아니기 때문이다. 딥마인드는 크게 세 종류를 두고 있다. 상위 추론을 담당하는 Embodied Reasoning(ER), 실제 관절 값과 궤적을 뱉는 VLA, 그리고 온디바이스 모델이다. ER은 제미나이 플래시를 파인튜닝한 것으로, 버전이 크게 뛸 때는 대개 베이스 모델이 바뀌었을 때다. ER은 API로 공개되지만 VLA는 백본조차 명확히 밝히지 않는 사실상 비공개 자산이고, 온디바이스 모델은 신뢰 파트너에게만 제공된다.

구조상 ER은 클라우드에서 돌고, 로컬에는 액션 디코더가 붙는다. 실시간 제어가 필요한 로봇을 클라우드 추론으로 돌린다는 설계는 낯설지만, 발표된 수치로는 ER 라이브 API가 1Hz, 서버가 5Hz, 액션 토큰이 초당 50개 수준으로 계층마다 주기가 다르다. ER이 종료 조건을 걸어 명령을 내리면 VLA가 그 조건에 도달할 때까지 실행을 계속하고, 도달하면 다시 ER이 도는 이중 반복문 형태다. 균형 유지 같은 저수준 제어는 엣지의 컨트롤 스택이 맡는다.

이 조직이 특이한 지점은 남이 만든 모델을 가져다 파인튜닝만 하는 팀이 아니라는 데 있다. 영상에서 인용된 발언에 따르면 딥마인드 로보틱스는 제미나이 플래시의 프리트레이닝 자체에 기여하며 공간 이해를 담당한다. 흥미로운 힌트도 나왔다. 모션·액션 데이터를 기반 모델 프리트레이닝에 넣는 것은 일반 지능 향상에 도움이 되지 않고 오히려 해가 될 수 있다는 것이다. 사람도 관절 각도를 의식하며 사고하지 않는다는 비유가 붙는다.

사업 구조도 이 설계와 맞물린다. 딥마인드는 하드웨어를 만들지 않고 앱트로닉, 보스턴 다이내믹스, 어질리티 로봇 같은 곳과 협업한다. ER은 이미 API로 팔리고 있으며, 보스턴 다이내믹스는 스팟이 계기판 눈금을 읽는 데모에 이를 사용한다. 눈금을 읽으려면 확대가 필요하고, 그러려면 몸을 움직여야 한다. 추론 모델과 액션 모델이 오가며 필요한 시야를 스스로 만드는, 이른바 액티브 비전이다.

주요 인사이트

• 데모를 배속 없이 느린 속도 그대로 보여주고 최난도 과제의 성공률을 44%로 밝힌 점은, 성능 과시보다 재현 가능성에 무게를 둔 신호로 읽힌다.
• 책상 높이를 바꿔가며 같은 작업을 시키는 테스트가 반복되는데, 이는 학습 데이터에 과적합됐는지를 가장 싸게 확인하는 척도로 쓰인다.
• 안전 판단을 VLA에 맡기지 않고 상위 추론 모델에 올린 것은, 사람이 접근하면 속도를 줄이는 식의 규칙이 저수준 행동 모델로는 다루기 어려운 엣지 케이스라는 판단 때문이다.
• 여러 모델을 계층으로 쌓는 구조는 로보틱스만의 것이 아니다. 코딩 에이전트도 세션 이름 짓기와 본 작업에 서로 다른 모델을 쓰듯, 조합으로 효율의 스위트 스팟을 찾는 흐름이 공통적이다.
• 촉각 센서는 하드웨어마다 규격이 제각각이고 공개 데이터셋도 거의 없어, 값비싼 손을 직접 굴려 데이터를 모아야 하는 구조적 병목이 남아 있다.
• 로봇 데모의 원본이 유튜브가 아니라 X와 링크드인에만 올라오는 경우가 늘어, 유튜브만 보면 흐름을 놓치기 쉽다는 관찰도 나왔다.

자주 묻는 질문

관련 AI 소식