엔비디아 코스모스 3 해설: 옴니모달 세계 모델이 피지컬 AI의 고리를 닫는 방식

핵심 메시지

• 코스모스 3는 혼합 트랜스포머 구조로 두 개의 탑을 둔다. 하나는 언어·이미지·영상을 이해하고 글을 만드는 자기회귀 추론기이고, 다른 하나는 이미지·영상·오디오·행동을 만들어 내는 확산 기반 생성기다.
• 추론기는 '지금 무슨 일이 벌어지는가'를 묻고 생성기는 '다음에 세계가 어떻게 보여야 하는가, 어떤 행동을 내놓아야 하는가'를 묻는다. 물리 세계에서 움직이려면 둘 다 필요하다는 것이 이 설계의 전제다.
• 시각-언어-행동(VLA) 모델은 지각에서 행동으로 가는 다리에 가깝고, 세계 모델만으로는 어떤 행동을 할지 정하지 못한다. 세계-행동 모델은 더 가깝지만 주행용, 로봇 조작용, 카메라 제어용으로 분화돼 있다.
• 여기에는 더 깊은 갈림길이 있다. 픽셀 대신 추상적 표현을 예측하는 잠재 예측 진영(JEPA 계열)과, 보이는 미래를 실제로 생성해 들여다볼 수 있게 하는 생성 롤아웃 진영이다. 코스모스 3는 후자에 기운다.
• 코스모스 3는 완성된 로봇 두뇌가 아니라 코드·체크포인트·합성 데이터셋·벤치마크가 공개된 '만들기 위한 기반'이다. 진행자는 실제로 돌려 본 결과가 고르지 않다고 말하면서도, 오늘이 이 모델이 가장 덜 유능한 날이라고 정리한다.

쉽게 이해하기

엔비디아가 처음 코스모스를 세계 기반 모델 플랫폼으로 내놓았을 때부터 목표는 영상 생성보다 컸습니다. 영상 큐레이션, 토크나이저, 사전학습된 세계 기반 모델, 확산 모델과 자기회귀 모델, 사후학습 도구, 가드레일이 한데 묶여 있었습니다. 물리 세계에서 움직이는 AI는 세계가 시간에 따라 어떻게 변하는지 배워야 한다는 발상이었고, 자율주행처럼 사소한 디테일 하나하나가 중요한 영역에서 그 필요가 가장 잘 드러납니다.

코스모스 3가 내세우는 '옴니모달'의 실질적 의미는 이 조각들을 이어 붙이는 대신 하나로 통합했다는 것입니다. 세계 모델링, 멀티모달 이해, 생성, 행동, 추론을 공유 아키텍처와 여러 동작 모드를 가진 하나의 모델군으로 묶었습니다. 구조는 혼합 트랜스포머이고, 엔비디아는 이를 두 개의 탑이라고 부릅니다. 장면을 이해해 말로 옮기는 쪽과, 다음 장면이나 행동을 만들어 내는 쪽입니다.

왜 기존 접근으로는 부족한지가 이 영상의 중심 논증입니다. 로봇이 컵을 옮겼을 때 컵이 미끄러질지 넘어질지 그대로 있을지, 차가 차선을 바꾸면 장면이 어떻게 전개될지를 알아야 하는데 VLA는 대체로 지각에서 행동으로 가는 다리에 머뭅니다. 반대로 세계 모델은 미래 상태를 예측하고 물리적으로 그럴듯한지 드러낼 수는 있어도 어떤 행동을 취할지는 스스로 정하지 못합니다. 그래서 코스모스 3는 보고, 추론하고, 가능한 미래를 예측하고, 그 미래를 행동에 연결하고, 실제로 행동해 세계가 바뀌는 고리를 하나의 틀 안에서 상호작용시키려 합니다.

비교 대상도 분명히 짚습니다. 딥마인드의 Genie 3는 텍스트에서 동적인 세계를 만들어 실시간으로 돌아다닐 수 있게 하는 강력한 상호작용 시뮬레이터지만, 여러 로봇 형태를 넘나들며 스스로 판단하고 행동하는 일반 멀티모달 추론 시스템으로 제시되지는 않습니다. 메타의 V-JEPA 2는 모든 픽셀을 생성하는 대신 표현 공간에서 예측하는 길을 택했고, PAN은 언어에 기반한 잠재 동역학과 영상 확산을 학술적으로 결합하려는 시도입니다. π0.5나 GR00T 계열 로봇 정책은 지각과 지시 수행, 행동에는 강하지만 풍부한 생성형 세계 시뮬레이터는 아닙니다.

젠슨 황이 몇 해에 걸쳐 반복해 온 이야기 구조도 함께 설명됩니다. 이미지와 말과 소리를 이해하는 지각 AI, 텍스트와 이미지와 영상을 만드는 생성 AI, 추론하고 계획하고 도구를 써서 소프트웨어 안에서 행동하는 에이전틱 AI, 그리고 세계를 충분히 이해해 그 안에서 행동하는 피지컬 AI로 이어지는 순서입니다. 진행자는 피지컬 AI가 무대 위를 걷는 로봇 이야기가 아니라 공장, 창고, 병원, 물류 같은 인프라 전체의 문제이고, 그래서 시뮬레이션과 디지털 트윈, 합성 데이터, 로봇 정책, 엣지 연산이 한 묶음으로 따라온다고 정리합니다.

주요 인사이트

• '모델 하나로는 부족하다'는 것이 엔비디아 제품 목록 밑에 깔린 일관된 주장이다. 로봇은 배울 세계가 필요하고, 공장은 실제 라인을 바꾸기 전에 디지털 트윈이 필요하며, 자율주행은 그 시나리오가 사람을 죽이기 전에 희귀 상황을 먼저 겪어야 한다.
• 잠재 예측이냐 생성 롤아웃이냐는 지금 피지컬 AI에서 가장 흥미로운 미해결 질문이다. 픽셀 낭비를 피하는 압축된 잠재 모델로 갈지, 사람이 들여다볼 수 있는 생성형 시뮬레이터로 갈지, 둘을 겹친 층위로 갈지는 아직 정해지지 않았다.
• 오픈 모델이라고 해서 연산이 공짜가 되지는 않는다. 다만 모델 접근 자체에는 돈을 들이지 않고 실험을 시작할 수 있다는 점이 진입 장벽을 크게 낮춘다.
• 진행자는 코딩 도구에 말로 지시해 두 개의 실험 환경을 세팅했고, 더 숙련된 사람이 문서를 파고들며 직접 한 것보다 빨랐다고 말한다. 새 모델을 만져 보는 일의 문턱이 도구 조합으로 낮아지고 있다는 사례다.
• 결과물이 고르지 않다는 것을 실패로 보지 않는 관점이 이 영상의 태도다. 윌 스미스가 스파게티를 먹는 초기 영상이 몇 년 만에 어디까지 왔는지를 근거로, 옴니모달 세계 모델도 같은 궤적을 밟을 것이라고 본다.

자주 묻는 질문

관련 AI 소식