엔비디아 코스모스 3 정리: 혼합 트랜스포머 이중 타워로 텍스트·영상·행동을 잇는 월드 모델

핵심 메시지

• 엔비디아가 GTC 타이베이에서 공개한 코스모스 3은 텍스트·이미지·영상·행동을 포함한 다섯 가지 양식을 입력과 출력 양쪽에서 모두 다루는 옴니 모델이다.
• 예전에는 비전 언어 모델, 행동 모델, 영상 확산 모델을 각각 만들어 이어 붙여야 했던 일을 코스모스 3은 하나의 모델로 압축했다.
• 구조는 '혼합 트랜스포머'라 부르는 이중 타워다. 입력을 받아들이는 자기회귀 방식의 추론기 타워와, 출력을 만들어 내는 확산 방식의 생성 타워가 멀티모달 어텐션을 공유한다.
• 타워당 32B인 코스모스 3 슈퍼와 타워당 80억 파라미터(합계 약 160억)인 나노가 공개됐고, 기기에서 실시간으로 돌릴 수 있는 엣지 버전은 아직 나오지 않았다.
• 핵심 용도는 로봇 학습용 합성 데이터의 대량 생성이다. 이미지에서 행동으로, 영상에서 행동으로 이어지도록 학습된 모델이라 단순한 영상 생성기와는 성격이 다르다.

쉽게 이해하기

언어 모델이 계속 화제의 중심에 있지만, 지금 AI에서 가장 흥미로운 흐름 중 하나는 '피지컬 AI', 즉 월드 모델을 만드는 쪽으로 가고 있다는 관측에서 이 영상은 출발한다. 그 대표적인 사례가 엔비디아가 GTC 타이베이 컨퍼런스에서 발표한 코스모스 3이다. 월드 파운데이션 모델을 만드는 작업에서 한 단계를 통째로 넘어선 결과물이라는 평가다.

코스모스 3은 다섯 가지 양식을 다루는 옴니 모델이다. 텍스트, 이미지, 영상, 그리고 로보틱스에 쓰이는 행동을 처리하며, 이 양식들을 받아들이기만 하는 것이 아니라 같은 양식으로 생성해 낼 수도 있다. 과거에는 이런 일을 하려면 비전 언어 모델, 행동 모델, 영상 확산이나 이미지 생성 모델을 각각 두고 서로 이어 붙였다. 코스모스 3이 한 일은 이 모두를 하나의 모델로 접어 넣은 것이다. 어떤 양식이든 입력으로 받아 어떤 양식이든 출력으로 내놓는 종단간 처리는 결코 쉬운 과제가 아니다.

구조를 들여다보면 '혼합 트랜스포머(mixture of transformers)'라 부르는 이중 타워가 나온다. 한쪽은 자기회귀 방식의 타워로, 이들이 추론기(reasoner)라 부르는 부분이며 모든 입력을 받아들이는 역할을 한다. 다른 한쪽은 확산 방식의 생성 타워로, 합성 데이터용 새 영상이나 영상과 오디오의 조합, 이미지, 로보틱스에 쓸 행동 등 필요한 형태의 출력을 만들어 낸다. 이 두 타워가 멀티모달 어텐션을 서로 공유하도록 설계된 점이 특징이다.

이전 코스모스는 예측 모델과 변환 모델처럼 기능별로 모델을 나눠 두는 방식이었지만, 이번에는 세 갈래로 정리했다. 타워당 32B로 이중 타워 구성인 코스모스 3 슈퍼, 타워당 80억 파라미터로 합계 약 160억 규모인 나노, 그리고 아직 공개되지 않았지만 기기에서 실시간으로 로컬 하드웨어로 돌릴 수 있다는 엣지 버전이다. 오픈 웨이트와 함께 상당한 분량의 기술 보고서도 공개됐는데, 여기에는 모델 구조뿐 아니라 기성 모델을 어디에 가져다 썼는지도 정리돼 있다. 나노에는 Qwen3-VL 8B가, 슈퍼에는 32B가 활용됐다.

실제 활용의 무게중심은 합성 데이터다. 코스모스 계열의 핵심 강점은 학습용 합성 데이터를 대규모로 만들어 내는 능력이었고 코스모스 3은 이를 한 단계 더 밀어붙였다. 영상에서는 DGX 스파크에서 추론을 돌리며 JSON 파일로 생성 요청을 넘기는 방식을 보여준다. 텍스트에서 영상을 만드는 모드로, 나무 진열장에 바나나·사과·배·오렌지가 놓이고 아래쪽에 로봇 팔이 배치돼 이를 집어 올리는 장면을 프롬프트로 넣어 렌더링한 결과가 제법 그럴듯하게 나왔다. 다만 물체를 떨어뜨리는 순간 등에서 일관성이 흔들리는 모습도 관찰됐다.

주요 인사이트

• 여러 특화 모델을 이어 붙이던 파이프라인이 하나의 모델로 수렴하는 것은 언어 모델이 걸어온 길과 같은 궤적이다. 접합부가 사라지면 각 단계에서 정보가 손실되는 문제도 함께 사라진다.
• 자기회귀와 확산을 한 모델 안에 두 타워로 두고 어텐션을 공유하게 만든 설계는, 이해와 생성이 서로 다른 방식을 요구한다는 현실적 인정으로 읽힌다. 하나의 방식으로 모두를 처리하려 하지 않았다.
• 코스모스 3이 단순한 영상 생성기가 아니라는 점이 중요하다. 이미지에서 행동으로, 영상에서 행동으로 이어지도록 접지(grounding)된 상태로 학습됐기 때문에, 만들어 낸 영상이 곧 로봇 학습에 쓸 수 있는 데이터가 된다.
• 엔비디아가 사전학습 데이터와 지도 미세조정 데이터의 구성을 기술 보고서에서 나눠 공개한 점은 실용적 가치가 크다. 이미 실제 데이터를 확보한 팀이라면 이 모델로 데이터를 대규모로 확장하고 특정 용도에 맞춰 미세조정할 수 있으며, 특정 행동을 취했을 때 다음 상태를 예측하는 순방향 동역학 모드까지 제공된다.
• 월드 모델은 언어 모델만으로는 배울 수 없는 종류의 지능, 즉 물리 세계와 직접 관련된 지능을 학습한다. AGI로 가는 길 위에 있다면 이런 모델의 진전이 그 진척도를 가늠하는 중요한 신호가 될 수 있다.

자주 묻는 질문

관련 AI 소식