얀 르쿤의 JEPA vs VLA — 세계 모델·V-JEPA로 보는 로봇 AI의 두 갈래

핵심 메시지

• 현재 가장 인상적인 로봇 두뇌인 VLA(비전-언어-행동) 모델은 VLM(비전 인코더+LLM) 위에 쌓아 올린, 생성·언어 중심 주류 AI의 정점이다.
• 얀 르쿤은 언어가 아니라 세계에서 출발하는 JEPA(결합 임베딩 예측 구조) 접근을 내세우며, VLA 스택의 각 층마다 JEPA 기반 대안이 존재한다.
• 언어 지도 없이 100만 시간 영상으로 학습한 V-JEPA-2 인코더를 LLM에 붙였더니, 통념과 달리 영상 이해 벤치마크에서 최고 수준 성능이 나왔다.
• 출력 텍스트를 그대로 생성하는 대신 그 임베딩을 예측하는 VL-JEPA는 무관한 표현 차이를 추상화해 훨씬 효율적으로 학습하고, 7배 큰 모델을 능가하기도 했다.
• 르쿤의 VLA 비판은 두 가지, 곧 행동 복제(모방 학습)의 확장 한계와 명시적 계획의 부재다. JEPA 세계 모델은 인간을 모방하지 않고 행동의 결과를 예측해 스스로 계획하지만 아직 성능은 VLA에 크게 뒤진다.

쉽게 이해하기

스타트업 Physical Intelligence의 PI0-7 모델은 애호박 껍질을 벗기고 바람개비를 접는 등 놀라운 로봇 시연을 보여준다. 이는 VLA(비전-언어-행동) 모델로, VLM(비전-언어 모델) 위에, 그 VLM은 다시 비전 인코더와 대형 언어 모델(LLM) 위에 쌓여 있다. 그런데 얀 르쿤은 'VLA는 가망 없다'고 단언한다. 그의 대안인 JEPA로도 로봇을 제어할 수 있지만 시연 능력은 한참 뒤처져 컵 하나 옮기는 데 60초가 걸린다. 그럼에도 르쿤이 이토록 확신하는 이유는 무엇일까.

현대 AI가 시각과 언어를 잇게 된 출발점은 2021년 OpenAI의 CLIP이다. CLIP은 이미지-캡션 쌍을 각각 비전 인코더와 텍스트 인코더에 넣어, 맞는 쌍의 임베딩은 가깝게 틀린 쌍은 멀게 학습한다. 학습된 비전 인코더는 LLM에 붙어 멀티모달 어시스턴트(VLM)를 만든다. 여기에 대한 JEPA 기반 대안이 메타가 2025년 100만 시간 영상·최대 10억 파라미터로 학습한 V-JEPA-2다. 영상의 일부 패치를 지우고 그 빠진 부분의 임베딩을 예측하게 하는 자기지도 방식으로, 영상이 나아가 세계가 어떻게 작동하는지를 배운다.

CLIP과 V-JEPA는 둘 다 비전 인코더지만 학습 목표가 근본적으로 다르다. V-JEPA는 언어를 전혀 모른 채 오직 영상의 빠진 부분을 예측하도록 학습해, 인간이 발명한 언어에 얽매이지 않고 개념을 자유롭게 표현한다. 문제는 '언어만으로 학습한 LLM이 그 표현을 실제로 쓸 수 있는가'인데, V-JEPA-2 저자들은 언어 지도 없이 사전학습한 영상 인코더가 LLM과 정렬돼 최고 수준 성능을 낸다는, 통념에 반하는 결과를 보였다. 예컨대 영상을 거꾸로 재생하면 정답이 바뀌는 문제에서 ChatGPT 5.5는 양방향 모두 틀렸다.

더 나아가 VLM 전체를 JEPA로 바꿀 수도 있다. 출력 텍스트를 직접 생성하는 대신, 목표 텍스트를 인코더에 넣어 그 임베딩을 예측하도록 예측기를 학습하는 것이다. 르쿤의 비유처럼 생성 모델은 대시캠 영상에서 예측 불가능한 나뭇잎의 움직임에 자원을 낭비하지만, 임베딩 예측은 본질적 특징만 추출한다. 같은 정답을 다르게 표현했다고 벌점을 받는 문제도 사라진다. 메타가 2025년 말 공개한 VL-JEPA는 동일 조건에서 전통 VLM보다 훨씬 빨리 학습해(500만 예제 후 정확도 35% 대 20%), 16억 파라미터로 70억 파라미터 모델을 능가하기도 했다.

그러나 진짜 대비는 로봇 제어(VLA)에서 드러난다. VLA는 인간 시연 데이터를 행동 복제로 학습해 종단간(end-to-end)으로 배포되는데, 르쿤은 이를 두 가지로 비판한다. 첫째, 모든 작업의 모든 변형에 대해 인간 시연을 모으는 건 확장 불가능하고 새로운 상황에서 취약하다. 둘째, 명시적 계획이 없다. 결과를 예측하지 못한 채 행동부터 하는 블랙박스다. JEPA 세계 모델은 다르게, 이미지와 행동으로 '다음에 무슨 일이 일어날지'를 예측하는 행동 조건부 세계 모델을 학습한 뒤 교차 엔트로피 방법(CEM) 같은 방식으로 임베딩 공간에서 최적 행동열을 명시적으로 계획한다. Push-T 과제에서 이 접근은 인간 모방 없이 스스로 해법을 찾지만 예측 루프를 약 5단계밖에 내다보지 못해 성능은 아직 VLA에 크게 뒤진다. 르쿤은 계층적 세계 모델로 계획 지평을 늘리는 방향(Push-T에서 5→15단계)을 제시하며, 방정식으로 환원 불가능한 복잡계(제트엔진·발전소·환자 치료 등) 제어를 향후 응용으로 본다.

주요 인사이트

• V-JEPA-2 결과의 핵심은 '언어 지도 없이 학습한 영상 인코더도 LLM과 정렬돼 최고 성능을 낼 수 있다'는, 기존 통념을 뒤집는 발견이다.
• 임베딩을 예측하는 JEPA 방식은 '같은 정답의 다른 표현'에 벌점을 주지 않아 무관한 의미 차이를 추상화하고 학습 효율을 크게 높인다(16억 파라미터가 70억을 능가).
• JEPA 세계 모델은 픽셀과 행동만으로 물체의 강체성·상호작용 같은 환경의 물리를 스스로 학습해, '학습된 비디오 게임'처럼 행동 결과를 시뮬레이션한다.
• VLA의 강점도 분명하다. 2023년 RT-2가 학습에 없던 '테일러 스위프트'로 콜라캔을 옮긴 것처럼 사전학습 지식을 새 작업으로 일반화한다.
• 계획 지평의 한계는 계층적 세계 모델로 완화된다. 낮은 층은 세부적 단기 예측을, 높은 층은 덜 세부적인 장기 예측을 맡아 예측이 현실에서 발산하지 않게 한다.

자주 묻는 질문

관련 AI 소식