엔비디아 코스모스 3 아키텍처 분석 - 옴니모델과 Mixture of Transformers 정리

핵심 메시지

• 코스모스 3는 하나의 모델로 영상·오디오·언어·행동을 모두 입출력한다고 소개됐지만, 실제 구조는 이해를 맡는 비전-언어 모델(리즈너)과 생성을 맡는 디퓨전 트랜스포머(제너레이터)가 결합된 형태다.
• '옴니모델'과 '멀티모달'의 차이는 입력과 출력 양쪽이 모두 여러 모달리티인가에 있고, 프리트레이닝 단계부터 여러 모달리티를 함께 학습했을 때 '네이티브'라고 부른다.
• 행동(액션)을 3D 위치와 6D 회전으로 표현해 로봇 종류에 상관없이 같은 형식으로 다루는 방식이 최근 사실상 표준처럼 자리 잡았다.
• Mixture of Transformers는 모달리티마다 어텐션 가중치와 피드포워드 가중치를 따로 두되 어텐션 연산에서는 정보를 공유하는 방식으로, 성능이 더 좋았다는 실험 결과에서 출발했다.
• 출연자들은 코스모스 3가 기대만큼 새로운 아키텍처는 아니었다고 평가하면서도, 오픈소스로 공개된 만큼 이를 활용한 응용이 나올 것으로 봤다.

쉽게 이해하기

엔비디아가 GTC에서 공개한 코스모스 3는 '추론과 월드 생성, 액션 생성을 함께 갖춘 최초의 옴니모델'로 소개됐다. 영상에서 두 연구자는 138페이지짜리 기술 보고서를 앞에 두고, 이 이름값이 실제 구조에서 확인되는지를 하나씩 따져본다. 공개된 가중치는 엣지·나노·슈퍼로 나뉘고 나노가 약 160억, 슈퍼가 약 640억 파라미터 규모다.

먼저 용어 정리부터 한다. 입력이나 출력 한쪽만 여러 형식을 받으면 멀티모달, 입력과 출력이 모두 여러 형식이면 옴니모달이라고 부르는 것이 요즘의 관행이다. 여기에 '네이티브'가 붙으면 언어 모델을 먼저 만들고 나중에 비전 인코더를 붙이는 방식이 아니라, 처음부터 여러 모달리티를 함께 학습했다는 뜻이 된다. 다만 두 사람은 네이티브 여부가 마케팅 용어에 가깝고 결국 응용에서 잘 동작하는지가 중요하다고 선을 긋는다.

구조를 열어보면 코스모스 3는 앞단과 뒷단이 나뉜다. 앞단은 비전 인코더와 언어 토크나이저로 토큰을 만들어 순차적으로 처리하는, 우리가 아는 비전-언어 모델이다. 뒷단은 그 결과를 조건으로 받아 영상·오디오·행동을 만들어내는 디퓨전 트랜스포머다. 출연자들은 모달리티 구분 없이 토큰이 한 줄로 이어지는 구조를 기대했는데 실제로는 그렇지 않았고, 행동 전문가를 붙인 기존 비전-언어-행동 모델과 아키텍처상 크게 달라 보이지 않는다고 지적한다.

대신 눈여겨볼 대목은 액션을 다루는 방식이다. 로봇마다 팔 구조와 모터가 다르지만, 끝단의 3D 위치와 6D 회전만으로 표현하면 어떤 몸체에도 공통으로 쓸 수 있다. 카메라 움직임에서 시점의 위치를 역으로 추정할 수 있어, 사람이 손으로 작업하는 영상과 휴머노이드 데이터를 같은 형식으로 함께 학습시키는 것도 가능해진다. 두 사람은 이런 액션 표현이 이미 여러 연구에서 쓰이고 있다고 말한다.

영상 후반부는 옴니모델의 계보를 짚는다. 이미지를 텍스트처럼 토큰으로 쪼개 한 모델에서 처리한 카멜레온, 텍스트는 순차 예측하고 이미지는 디퓨전으로 생성하도록 섞은 트랜스퓨전, 그리고 모달리티별로 가중치를 분리한 Mixture of Transformers로 이어지는 흐름이다. 흥미로운 관찰도 나온다. 이미지를 '이해'할 때와 '생성'할 때 인코더를 따로 쓰는 편이 일관되게 성능이 좋았고, 이해를 잘하는 인코더는 생성에도 도움이 됐지만 반대 방향은 그렇지 않았다는 것이다.

주요 인사이트

• 제품 소개 문구의 '옴니모델'과 실제 아키텍처는 다를 수 있다. 발표 자료만 보면 하나의 모델이 모든 것을 처리하는 것처럼 읽히지만, 열어보면 이해용 모델과 생성용 모델이 조건부로 연결된 조합인 경우가 많다.
• 디퓨전 방식으로 생성하는 모델에서는 어떤 토큰에 노이즈를 씌우고 어떤 토큰을 그대로 둘지를 바꾸는 것만으로 과제를 바꿀 수 있다. 같은 가중치가 영상 생성 모델이 되기도 하고, 행동을 만드는 정책이 되기도 하며, 영상에서 행동을 역추정하는 모델이 되기도 한다.
• 출연자들은 코스모스 3를 '행동을 만드는 모델'보다 '데이터셋을 만드는 모델'로 볼 여지가 있다고 말한다. 원하는 형식의 입력으로 학습 데이터를 대량 생성하는 용도로 쓸 수 있기 때문이다.
• 코스모스 3가 밑바탕 모델을 처음부터 새로 학습하지 않고 기존 공개 비전-언어 모델(Qwen3-VL)에서 출발했다는 점은, 좋은 사전 지식을 쓰는 실용적 선택이면서 동시에 외부 모델 사용을 제한하는 조직에서는 판단이 필요한 지점이 된다.
• 언어가 이미 사람의 사고를 잘 정리해 놓은 구조이기 때문에 텍스트 기반 추론이 지능을 끌어올리는 지름길이었다는 해석이 나온다. 반대로 영상 신호는 아직 무엇이 '잘 정리된' 데이터인지조차 정의하기 어렵다는 것이 월드 모델 연구의 난점으로 지목된다.

자주 묻는 질문

관련 AI 소식