월드 모델과 VLA 비교 정리: 코스모스 폴리시부터 V-JEPA 2까지 로봇 정책 연구

핵심 메시지

• 기존 VLA는 장면과 지시를 이해하는 비전-언어 모델 뒤에 제어값을 만드는 액션 헤드를 붙인 구조여서, 물리 세계의 시간적 변화를 예측하는 부담이 뒷단에 몰린다.
• 월드 모델을 로봇 정책으로 쓰려면 단순한 영상 예측으로는 부족하고, 후보 행동을 조건으로 미래를 예측하는 구조와 그 미래가 목표에 얼마나 유리한지 매기는 값 평가가 함께 있어야 한다.
• 엔비디아와 스탠퍼드의 코스모스 폴리시는 비디오 파운데이션 모델을 로봇 시연 데이터로 후속 학습해, 별도 액션 모듈 없이 행동·미래 상태·값을 같은 잠재 공간에서 함께 생성한다.
• VPP는 미래 영상을 끝까지 생성하지 않고 비디오 확산 모델 내부에 형성된 미래 예측 표현만 꺼내 정책에 연결해, 실시간 제어에 필요한 속도를 확보한다.
• 속도, 제어에 필요한 정밀도, 예측된 미래를 실제 관절 명령으로 바꾸는 변환이라는 세 가지 과제가 남아 있어 당장 VLA를 대체한다고 보기는 어렵다.

쉽게 이해하기

로봇 분야에서 최근 몇 년간 표준처럼 자리 잡은 구조는 VLA다. 앞단의 비전-언어 모델이 지금 무엇이 보이고 사용자가 무엇을 지시했는지 이해하고, 뒤에 붙은 액션 헤드 또는 액션 엑스퍼트가 로봇 팔을 어느 방향으로 얼마나 움직일지, 그리퍼를 언제 닫을지 같은 연속 제어값을 만든다. 사람이 상황을 파악한 뒤 몸을 움직이는 순서와 닮아 자연스럽게 느껴지지만, 영상은 이 구조의 병목을 지적한다. 비전-언어 모델은 이미지와 언어를 이해하도록 학습됐을 뿐 물리 세계가 시간에 따라 어떻게 변하는지를 예측하도록 만들어지지는 않았다는 것이다. 그래서 등장하는 것이 월드 파운데이션 모델(WFM)이다. 현재 장면을 바탕으로 앞으로 세계가 어떻게 변할지 예측하는 모델인데, 다음 장면을 잘 맞힌다는 것은 사실상 다음 행동의 결과를 알고 있다는 뜻이기도 하다. 그렇다면 로봇은 지시를 듣자마자 행동을 출력하는 대신, 이렇게 움직이면 어떤 장면이 될지 먼저 상상해 보고 가장 좋은 미래를 만드는 행동을 고를 수 있다. 다만 조건이 붙는다. 후보 행동을 입력에 함께 넣고 그 행동을 실행했을 때의 미래를 예측하는 '액션 조건부' 구조여야 하며, 예측된 미래들 가운데 무엇이 나은지 판단할 값 평가가 따라와야 한다.

첫 사례인 코스모스 폴리시는 엔비디아와 스탠퍼드 연구진의 작업이다. 대형 비디오 파운데이션 모델을 로봇 시연 데이터로 후속 학습해, 아키텍처를 바꾸거나 새 액션 모듈을 덧붙이지 않고도 로봇 행동 묶음과 미래 상태, 값을 잠재 프레임 형태로 함께 만들어 낸다. 입력으로는 여러 카메라 이미지와 관절각·그리퍼 상태 같은 로봇 자신의 상태가 들어가고, 출력으로는 몇 스텝 분량의 행동 묶음과 미래 관측, 그리고 목표 달성 가능성을 나타내는 값이 한꺼번에 나온다. 논문은 이 구조로 리베로에서 98.5%, 로보카사에서 67.1%의 평균 성공률을 보고했다.

두 번째인 비디오 프리딕션 폴리시(VPP)는 접근이 다르다. 월드 모델 자체를 정책으로 바꾸는 대신, 비디오 확산 모델이 미래를 예측하는 과정에서 내부에 만들어 낸 시각 표현을 가져다 쓴다. 기존 비전 인코더가 현재 이미지의 특징을 뽑는 데 집중한다면, 미래 프레임을 예측하도록 학습된 모델의 내부 표현에는 물체와 로봇이 앞으로 어떻게 움직일지에 대한 단서가 담긴다는 가정이다. 특히 영상을 끝까지 생성하면 시간이 오래 걸리고 처음 세운 계획대로만 움직이는 제어 문제가 생기기 때문에, VPP는 한 번의 순방향 계산에서 나온 내부 표현만 꺼내 정책에 넘긴다. 이 방식으로 캘빈 ABC-D 일반화 벤치마크에서 이전 최고 성능 대비 18.6%의 상대 개선을, 실제 정교한 조작 작업에서는 성공률 31.6% 상승을 보고했다.

나머지 세 편은 각각 다른 각도를 보여 준다. 드림VLA는 미래 이미지를 통째로 생성하는 대신 움직이는 영역, 깊이 지도, 의미 특징처럼 행동에 실제로 필요한 지식만 예측하고, 서로 다른 종류의 정보가 뒤섞이지 않도록 블록 단위로 구획된 어텐션을 쓴다. 실제 로봇 작업에서 76.7% 성공률, 캘빈 ABC-D에서 평균 길이 4.44를 보고했다. 메타의 V-JEPA 2는 100만 시간이 넘는 인터넷 영상으로 액션 라벨 없이 사전학습한 뒤, 62시간 미만의 라벨 없는 로봇 영상만으로 액션 조건부 월드 모델을 학습해 프랑카 로봇의 집어 옮기기 계획에 적용했다. 마지막으로 컬럼비아대와 토요타 리서치 인스티튜트의 연구는 제목 그대로 비디오 생성 모델이 곧 로봇 정책이 될 수 있다고 주장하며, 작업을 수행하는 미래 영상을 먼저 만든 뒤 그것을 실제 행동으로 디코딩한다.

영상은 다섯 편을 한자리에 놓고 보면 흐름이 분명해진다고 정리한다. 기존 VLA가 정답 행동을 직접 맞히는 문제에 가까웠다면, 월드 모델 기반 접근은 세계가 어떻게 변하는지를 먼저 배우고 그 구조 안에서 더 나은 미래를 만드는 행동을 고르는 문제에 가깝다. 다만 남은 과제도 분명히 짚는다. 로봇 제어는 실시간성이 중요한데 대형 생성 모델을 매 순간 돌리기에는 계산 비용이 크고, 사람 눈에 그럴듯한 영상이라도 손끝 위치가 조금만 어긋나면 실패로 이어질 만큼 정밀도 요구가 다르며, 예측된 미래를 관절 명령이나 속도 명령으로 바꾸는 역동역학 모델이나 액션 디코더가 여전히 필요하다.

주요 인사이트

• 이 흐름의 핵심은 '무엇을 예측할 것인가'를 다시 정하는 데 있다. 드림VLA가 배경 픽셀 대신 움직이는 영역과 깊이, 의미만 예측하기로 한 선택은, 로봇 제어에서 미래 영상 전체가 오히려 군더더기일 수 있음을 보여 준다.
• VPP의 절충안은 실용적이다. 생성 모델을 끝까지 돌리지 않고 첫 순방향 계산의 내부 표현만 쓰면, 미래 예측의 이점을 취하면서도 매 순간 관측을 반영하는 폐루프 제어의 제어 주파수를 지킬 수 있다.
• V-JEPA 2는 데이터 병목을 다른 방향에서 푼다. 비싸고 느린 로봇 시연 데이터에 기대는 대신 라벨 없는 인터넷 영상에서 세계의 시간 구조를 먼저 배우고, 적은 양의 로봇 영상으로 행동 조건만 맞추는 방식이다.
• 다섯 편이 공통으로 요구하는 부품은 결국 미래 예측, 행동 생성, 값 평가 세 가지다. 이 셋이 한 모델 안에서 이어질 때에야 월드 모델이 평가 도구를 넘어 정책이 된다.
• 예측된 미래를 실제 모터 명령으로 옮기는 단계는 아직 남은 숙제다. 그럴듯한 미래를 만드는 능력과 제어에 필요한 공간적·시간적 정밀도는 다른 문제이기 때문이다.

자주 묻는 질문

관련 AI 소식