얀 르쿤 JEPA 월드 모델 — LLM의 한계와 자기지도학습 대안 해설

핵심 메시지

• 얀 르쿤은 텍스트·이미지·영상을 '생성'하지 않는 대안적 AI 틀 JEPA(공동 임베딩 예측 구조)를 제안하고, 이를 좇아 약 10억 달러를 조달했다.
• JEPA는 입력 X와 출력 Y를 각각 인코더로 임베딩한 뒤, 예측기가 X의 임베딩으로 Y의 임베딩을 맞추도록 학습한다 — 픽셀을 직접 복원하지 않는다.
• 생성형 방식으로 영상의 다음 프레임을 픽셀 단위로 예측하면 불확실성 때문에 결과가 뭉개진다(블러). 여러 결과의 평균을 내기 때문이다.
• 르쿤의 핵심 주장은 현대 AI에 빠진 조각이 '월드 모델' — 즉 행동의 결과를 미리 예측하는 능력 — 이라는 것이다.
• 그는 LLM과 VLA는 행동의 결과를 예측하지 못하므로, 신뢰할 수 있는 에이전트를 만들려면 추론이 자기회귀 예측이 아니라 '탐색'이 되어야 한다고 본다.

쉽게 이해하기

영상은 오늘날 AI의 주류인 생성형·언어 중심 경로와, 얀 르쿤이 걷는 '공동 임베딩 구조'라는 대안 경로를 대비한다. 흥미롭게도 르쿤은 두 경로의 출발점 모두에 깊이 관여했다. 1980년대에 그는 합성곱 신경망(CNN)을 개척했고, 25년 뒤 딥러닝 부상을 이끈 AlexNet은 그의 1990년대 CNN과 놀랍도록 닮아 있었다.

2010년대 딥러닝이 성장하면서 연구자들은 이 방식이 사람이 일일이 라벨을 붙인 데이터에 지나치게 의존한다는 점을 우려했다. 반면 아이는 '개'라는 개념을 극소수의 예만 보고도 익힌다. 라벨 데이터가 병목이 되자 강화학습과, 데이터 자체에서 라벨을 얻는 자기지도학습 같은 대안에 관심이 쏠렸다. 르쿤은 2015년경 '지능이라는 케이크의 대부분은 자기지도학습이고, 지도학습은 위의 아이싱, 강화학습은 체리'라는 유명한 비유를 내놨다.

자기지도 생성 방식은 언어에서 먼저 폭발했다. 오픈AI의 알렉 래드퍼드는 트랜스포머를 번역이 아니라 '다음 토큰 맞히기'에 적용해 GPT-1을 만들었고, 이는 사람이 붙인 라벨 의존에서 모델을 해방시키며 GPT-2·3, 챗GPT로 이어지는 확장을 열었다. 그러나 이미지·영상에서는 같은 생성 방식이 잘 통하지 않았다. 다음 프레임을 픽셀로 예측하면 결과가 뿌옇게 뭉개졌기 때문이다.

이 '블러' 문제의 원인은 불확실성 처리 방식이다. 언어 모델은 '공이 튀어' 다음에 올 여러 단어의 확률을 각각 독립적으로 조정할 수 있지만, 단일 프레임을 직접 내놓아야 하는 영상 모델은 여러 가능한 미래의 '평균'을 그릴 수밖에 없고, 픽셀 평균은 흐릿한 결과가 된다. 여기서 르쿤 등은 근본적인 질문을 던졌다 — 모델이 꼭 생성적일 필요가 있는가?

대안은 1990년대 르쿤이 벨연구소에서 위조 서명 탐지에 쓴 '샴 네트워크' 같은 공동 임베딩이다. 두 입력을 인코더에 통과시켜 나온 임베딩이, 의미가 같으면 비슷하게·다르면 멀어지게 학습한다. 다만 순진하게 '비슷하게'만 시키면 모든 입력에 같은 벡터를 내놓는 '표현 붕괴'에 빠진다. 르쿤 팀은 신경과학자 호러스 발로의 아이디어(뉴런 간 중복 최소화)를 적용한 'Barlow Twins' 손실로 이 문제를 우회했고, VICReg·DINO 같은 후속 기법으로 이어졌다. DINOv3(2025년 8월)는 사람 라벨 없이도 이미지넷에서 지도학습에 필적하는 정확도(88.4%)에 도달했다.

주요 인사이트

• 생성(다음 픽셀/토큰 복원)은 목적이 아니라 수단이다. 실제로 중요한 것은 사전학습으로 얻는 '내부 표현'이며, JEPA는 픽셀 복원이라는 불가능에 가까운 과제를 버리고 표현 학습에 집중한다.
• JEPA에 '행동(action)'을 조건으로 넣으면 월드 모델이 된다. V-JEPA 2는 로봇 팔의 제어 신호를 함께 주고 다음 장면의 임베딩을 예측하게 해, 목표 상태에 이르는 행동 시퀀스를 계획·제어에 쓸 수 있다.
• 르쿤은 '학습된 모델로 미래 상태를 예측하고 최적 행동 시퀀스를 찾는 것'은 1950~60년대 최적제어의 고전 아이디어이며, 새로운 점은 그 모델과 '추상적 상태 표현' 자체를 학습한다는 데 있다고 설명한다.
• 표현 붕괴를 막는 대조학습은 많은 음성 예시와 큰 연산을 요구하고, 최악의 경우 필요한 표본 수가 표현 차원에 따라 지수적으로 늘 수 있다 — 그래서 발로 트윈스 같은 비대조 방식이 중요했다.
• 르쿤은 '행동의 결과를 미리 예측하지 못하는 시스템으로 어떻게 에이전트를 만들 수 있는지 이해할 수 없다'며, 안전 가드레일까지 갖춘 신뢰 가능한 에이전트에는 월드 모델이 필수라고 본다.

자주 묻는 질문

관련 AI 소식