월드 모델 스타트업 제너럴 인튜이션과 디카트: 게임 데이터로 만드는 에이전트 훈련장

핵심 메시지

• 게임 클립 플랫폼 메달에서 갈라져 나온 제너럴 인튜이션은 오픈AI의 5억 달러 데이터 매입 제안을 거절하고 그 데이터로 직접 창업했으며, 현재 기업가치는 23억 달러로 언급된다.
• 이들이 공개한 월드 모델 미라는 네 명의 플레이어 화면을 한 모델이 동시에 생성하면서 서로의 시점이 어긋나지 않도록 일관성을 유지한다.
• 회사가 진짜 관심을 두는 것은 월드 모델 자체가 아니라 그것을 훈련장 삼아 만드는 에이전트이며, 현실 세계를 101번째 게임으로 본다는 관점이 소개된다.
• 목표는 좌표를 찾아 이동하는 내비게이션이 아니라 'TV를 꺼줘' 같은 의미론적 지시를 끝에서 끝까지 처리하는 지능적 내비게이션이다.
• 월드 모델에 자금이 몰리고 있으며, 실시간 월드 모델을 내세운 디카트는 40억 달러 가치로 언급되고 초당 0.02달러 수준의 API도 팔고 있다.

쉽게 이해하기

이 대화는 국제 머신러닝 학회 현장을 다녀온 진행자들이 부스에서 직접 만지고 물어본 내용을 정리하는 형식이다. 중심에 선 회사는 제너럴 인튜이션으로, 게임 플레이 영상을 녹화해 올리는 플랫폼 메달에서 갈라져 나왔다. 오픈AI가 그 게임 데이터에 5억 달러를 제시했지만 회사는 팔지 않고 그 데이터로 직접 창업했고, 지금 언급되는 기업가치는 당시 제안액의 다섯 배에 가깝다.

현장에서 공개된 월드 모델 미라는 로켓 리그를 직접 플레이할 수 있는 형태로 전시됐다. 화면에 보이는 것은 게임 엔진의 출력이 아니라 모델이 만들어낸 프레임이다. 인상적인 부분은 네 개의 화면이 각기 다른 모델에서 나오는 것이 아니라 한 모델이 네 명분의 프레임을 동시에 만든다는 점이다. 내가 움직이면 다른 플레이어의 시야에도 그 움직임이 보여야 하는 일관성을 같은 잠재 공간 안에서 유지한다.

구조는 이렇게 설명된다. 각 플레이어의 화면이 인코더를 거쳐 잠재 표현으로 바뀌고, 여기에 각자의 행동 값이 조건으로 붙는다. 잠재 월드 모델이 다음 잠재 상태를 내놓고 이것이 자기회귀적으로 쌓이며, 디코딩하면 다음 프레임이 된다. 5B 규모 파라미터로 B200 GPU 한 장에서 50밀리초, 약 20Hz로 출력된다고 소개됐다. 사전학습을 직접 했는지 물었더니 그렇다는 답이 돌아왔고, 데이터 규모는 '유튜브 스케일'이라는 표현으로만 답했다고 한다.

한계도 분명하게 드러났다. 화면 속 시계 숫자가 1초씩 줄다가 갑자기 1분이 사라지고, 한번 어긋난 상태는 그 자리에서 다시 이어지기 때문에 복구되지 않는다. 화면에 점박이 같은 결함이 생기면 계속 남는다. 실제 세계라면 새 관측을 넣어 바로잡을 수 있지만 전부 생성된 세계라서 그럴 수 없고, 일종의 모드 붕괴가 일어난다. 이를 완화하려고 노이즈 제거 정도를 다르게 가져가는 확산 강제 기법 등이 들어간 것으로 보인다는 해석이 붙는다. 컨텍스트 윈도우는 4초로, 잠시 다른 곳을 보고 오면 앞의 일은 잊는다.

그래서 지형이 부서지고 그 상태가 남아야 하는 게임이었다면 4초로는 감당하기 어려웠을 것이고, 그런 요소가 적은 로켓 리그는 잘 고른 선택이었다는 평가가 나온다. 정작 회사는 부스에서 자신들을 월드 모델 회사가 아니라 에이전트 회사라고 선언했다고 한다. 데이터는 이미 갖고 있으니 월드 모델은 만들 수 있고, 본질은 그 위에서 무엇을 훈련시키느냐라는 것이다.

주요 인사이트

• 게임 데이터만 있는 회사가 현실을 다룰 수 있느냐는 질문에, 이들은 현실 세계도 하나의 게임이라고 답한다. 백 개의 게임을 학습하면 현실은 101번째 게임장이 된다는 관점이다.
• 데이터로서 가치가 높은 게임으로는 배틀그라운드나 카운터 스트라이크처럼 3D 공간을 돌아다니는 종류가 꼽혔다. 다만 게임에는 문을 돌려 여는 동작이나 옷을 집어 입는 동작이 없어, 세밀한 조작을 배우기에는 근본적인 공백이 있다.
• 그래서 이들이 만들려는 것은 조작 에이전트가 아니라 내비게이션 에이전트다. 이미 풀린 문제 아니냐는 반문에 대해, 좌표를 찍고 경로를 계산하는 방식이 아니라 'TV를 꺼줘'라는 지시를 보자마자 자연스럽게 처리하는 끝에서 끝까지의 방식을 말한다고 답했다.
• 네 명의 시점을 하나의 모델이 일관되게 생성하는 구조는 여러 대의 카메라 시점을 다루는 로봇 학습 방식과 닮아 있다. 이미 시점 간 일관성이 모델 안에 들어 있다는 점에서, 로보틱스 파운데이션 모델과 응용이 서로 넘나들 수 있다는 관찰이 나온다.
• 월드 모델의 파라미터 규모는 생각보다 작다. 알리바바의 완이 14B 수준이고 엔비디아의 코스모스 계열도 이를 기반으로 한 것이 많아, 대형 언어모델에 비하면 오히려 작은 편이라는 지적이다.

자주 묻는 질문

관련 AI 소식