월드 모델과 피지컬 AI — 구글 지니와 엔비디아 코스모스 프레딕트 2.5 비교 분석

핵심 메시지

• 구글 딥마인드의 지니와 엔비디아의 코스모스 프레딕트 2.5는 더 정교한 영상을 만드는 경쟁이 아니라, 어떤 행동을 하면 세계가 어떻게 변하는지를 예측하는 월드 모델을 겨냥한다.
• 실제 로봇으로 배우는 방식은 비싸고 느리고 위험하며, 물리 엔진 기반 시뮬레이터는 사람이 미리 정의한 법칙 안에서만 움직여 현실의 애매한 상황을 담기 어렵다는 것이 월드 모델의 출발점이다.
• 지니는 행동 라벨이 전혀 없는 영상에서 프레임 변화의 원인을 잠재 행동으로 추론하고, 이를 연속 벡터 대신 작은 이산 코드로 제한해 사람이 실시간으로 조작할 수 있는 세계를 만든다.
• 코스모스 프레딕트 2.5는 반대 방향이다. 데이터 필터링과 점진적 사전학습, 도메인별 미세조정과 모델 병합, 강화학습, 증류까지 동원해 주어진 조건에서 몇 초 뒤 세계가 어떻게 될지를 신뢰도 높게 예측하는 데 집중한다.
• 영상은 두 모델을 우열이 아니라 역할 분담으로 정리한다. 지니는 행동의 의미를 만드는 개념 형성 단계를, 코스모스 프레딕트는 그 행동이 만들 미래를 검증하는 의사결정 단계를 맡는다는 것이다.

쉽게 이해하기

영상은 왜 지금 월드 모델이냐는 질문부터 짚는다. 로봇 공학에는 이미 정교한 물리 엔진을 갖춘 가상 환경과 실제 로봇 데이터 수집 방법이 있다. 그런데도 문제가 남는 이유는, 현실에서 로봇을 학습시키려면 수없이 넘어지고 부딪혀야 하는데 그 과정이 너무 비싸고 느리고 위험하며, 자율주행이나 휴머노이드에서는 한 번의 실패가 큰 사고로 이어지기 때문이다. 시뮬레이터도 완벽하지 않다. 사람이 미리 정의한 법칙 안에서만 움직이므로 현실의 복잡하고 애매한 상황을 모두 담아내지 못한다. 그래서 나오는 질문이 '로봇이 직접 겪지 않고도 세상이 어떻게 반응하는지 미리 배울 수 있을까'다.

지니가 던지는 질문은 더 근본적이다. 행동이란 것을 정말 사람이 먼저 정의해줘야 하느냐는 것이다. 기존 로봇 학습과 강화학습에서는 앞으로 가기, 회전하기, 집기 같은 행동이 먼저 정의되고 로봇은 그 조합을 얼마나 잘 수행하는지로 평가받는다. 하지만 사람이나 동물은 '이게 행동이다'라는 라벨을 먼저 배우지 않는다. 세상과 상호작용하면서 내가 이렇게 움직이면 세상이 이렇게 변한다는 인과를 몸으로 익힐 뿐이다.

구조를 따라가면 지니는 먼저 영상 프레임을 토크나이저로 통과시켜 이산 토큰으로 바꾼다. 인코더와 디코더 양쪽에 시공간 트랜스포머를 써서 토큰 하나가 그 순간의 이미지 조각이 아니라 과거 정보를 품은 상태 표현처럼 동작하게 만든 것이 특징이다. 그다음이 핵심인 잠재 행동 모델로, 현재 프레임과 다음 프레임을 함께 보고 그 사이를 설명하는 잠재 행동을 만들며, 디코더는 과거 프레임과 잠재 행동만으로 다음 프레임을 복원하도록 학습된다. 여기서 잠재 행동을 코드북으로 아주 작은 이산 공간에 가둔 선택이 중요한데, 실험에서 사용한 행동 코드는 여덟 개뿐이었다. 마지막으로 다이나믹스 모델은 행동 정보를 영상 토큰 뒤에 이어붙이지 않고 직접 더해주는 방식을 택했다.

이 잠재 행동이 진짜 '행동'이라 부를 만한지는 실험 그림으로 답한다. 로보틱스와 유사한 환경에서 로봇 팔 위치, 물체 위치, 카메라 시점이 모두 다른 여러 초기 상태에 같은 잠재 행동을 반복 적용했더니, 어떤 코드는 일관되게 아래로, 다른 코드는 위로, 또 다른 코드는 왼쪽으로 움직이는 패턴이 나왔다. 그림에 붙은 방향 이름은 모델이 받은 라벨이 아니라 연구자가 결과를 보고 붙인 설명이다. 같은 구조를 플랫폼 게임 장면에 적용해도 결과가 유지됐는데, 픽셀 스타일도 물리 규칙도 다른 세계에서 통했다는 것은 학습된 행동 의미가 특정 도메인에 묶여 있지 않다는 근거가 된다.

코스모스 프레딕트 2.5는 출발점부터 다르다. 논문의 첫 그림이 보여주는 것은 월드 모델의 품질이 신경망 구조보다 먼저 '어떤 세계를 학습시키느냐'에서 결정된다는 관점이다. 데이터는 로보틱스, 자율주행, 객체 조작, 인간 행동처럼 물리 세계와 직접 연결된 도메인으로 제한하고, 장면 전환과 시각적 잡음을 제거해 짧은 클립으로 자른 뒤, 품질과 모션과 문자 인식과 시각적·의미적 아티팩트까지 여러 단계 필터를 거쳐 초기 클립 중 극히 일부만 남긴다. 학습은 저해상도 텍스트-이미지에서 시작해 이미지, 비디오, 조건 프레임이 전혀 없는 텍스트 기반 세계 생성까지 점진적으로 넓히고, 이후 도메인별 미세조정과 모델 병합, 강화학습, 그리고 수십 단계 디퓨전을 몇 단계로 압축하는 증류로 마무리된다.

응용 단계에서 이 차이가 드러난다. 코스모스 계열은 텍스트 프롬프트로 사과 색이나 테이블 질감을 바꾸고 그림자를 만들어내는 의미론적 편집으로 합성 데이터를 생성하는데, 이렇게 만든 데이터를 섞어 학습시킨 로봇 정책은 학습한 적 없는 보라색 과일이나 검은 식탁 같은 낯선 환경에서도 높은 성공률을 보였다. 더 나아가 본 적 없는 물체를 집으라는 명령을 받으면 그 행동이 수행되는 영상을 먼저 생성하고, 역동역학 모델로 로봇이 움직여야 할 수치를 뽑아내 영상·언어·행동이 결합된 학습 데이터를 만들어내는 방식도 소개된다. 로봇 팔이 물체를 가리거나 움직이는 복잡한 상호작용 중에도 물체가 사라지거나 왜곡되지 않는 객체 지속성은 모델이 인과를 이해하고 있다는 신호로 제시된다.

주요 인사이트

• 지니 실험 그림에 붙은 '아래', '위', '왼쪽' 같은 이름표가 모델이 받은 라벨이 아니라 연구자가 사후에 붙인 설명이라는 점이 이 연구의 핵심이다. 행동 정의를 한 번도 주지 않았는데도 공간적으로 일관된 조작 축이 스스로 정렬됐다는 뜻이기 때문이다.
• 잠재 행동을 무한한 연속 벡터로 두지 않고 아주 작은 이산 코드로 제한한 것은 성능이 아니라 제어 가능성을 위한 선택이다. 사람이 실제로 조이스틱처럼 눌러볼 수 있는 수준의 조작으로 만들려는 의도였다.
• 행동 정보를 영상 토큰 뒤에 이어붙이는 대신 더해주는 방식을 택한 것도 같은 맥락이다. 행동을 영상에 딸려오는 부가 정보가 아니라 다음 장면의 변화 방향을 직접 결정하는 조종 신호로 취급하면서 조작에 대한 반응이 훨씬 민감해졌다.
• 코스모스는 데이터의 양보다 학습될 세계의 신뢰도와 일관성을 택했다. 여러 단계 필터를 통과해 남는 클립이 극히 일부라는 설계는 월드 모델에서 무엇이 병목인지에 대한 판단을 보여준다.
• 타임스텝 증류로 디퓨전 단계를 몇 단계까지 줄이는 이유는 화질이 아니라 용도에 있다. 월드 모델을 한 번 보고 마는 생성기가 아니라 반복 호출 가능한 시뮬레이션 엔진으로 쓰겠다는 목표가 드러나는 대목이다.
• 지니가 만든 잠재 행동은 특정 로봇의 관절 구조나 제어 명령과 무관한 추상 표현이라, 이후 각 플랫폼의 저수준 명령으로 매핑할 수 있는 공용 상위 제어 계층의 후보가 된다.

자주 묻는 질문

관련 AI 소식