얀 르쿤 월드 모델 강연 정리 — JEPA와 다음 AI 혁명

핵심 메시지

• 르쿤은 현재의 기계학습이 사람·동물의 학습 능력에 크게 못 미친다며, 텍스트만 학습해서는 인간 수준의 지능에 도달할 수 없다고 단언한다.
• 4살 아이가 시각으로 받아들이는 데이터양이 인터넷의 모든 텍스트를 합친 것과 맞먹는다. 실세계 이해는 언어가 아니라 관찰에서 온다.
• 지능은 지식이나 기술의 축적이 아니라 훈련 없이도 새로운 문제를 빠르게 풀어내는 적응력이며, 이런 관점에서 'AGI'라는 말은 의미가 없다고 그는 본다.
• 르쿤은 영상을 픽셀 단위로 예측하는 생성 모델을 버리고, 추상적 표현 공간에서 예측하는 JEPA(결합 임베딩 예측 구조)를 제안한다.
• 추론과 계획은 층을 통한 순방향 전파가 아니라 '에너지 최소화'로 이뤄져야 하며, 이렇게 설계한 시스템은 가드레일을 항상 지키므로 본질적으로 더 안전하다.

쉽게 이해하기

르쿤은 도발적인 말로 강연을 열었다. 기계학습은 사람과 동물의 학습 능력에 비하면 형편없다는 것이다. 사람과 동물은 적은 시도만으로 새 과제를 배우고 물리적 상식을 갖추며, 처음 보는 일도 곧잘 해낸다. 그는 모라벡의 역설을 들어, 체스나 수학 증명처럼 사람에게 어려운 일은 컴퓨터에 쉬운 반면, 열 살 아이가 하는 일상적 동작이나 몇 시간이면 배우는 운전은 기계에 여전히 어렵다고 지적했다. 자율주행차는 수백만 시간의 데이터로도 사람 수준의 신뢰도에 이르지 못한다.

그렇다면 지능이란 무엇인가. 르쿤은 지능이 LLM처럼 선언적 지식을 쌓는 것도, 특정 기술을 모으는 것도 아니라고 말한다. 지능은 훈련 없이 새 문제를 풀어내는 적응력이며, 그래서 'AGI(범용 인공지능)'라는 표현 자체가 성립하지 않는다고 본다. 인간 지능은 오히려 특화돼 있고, 핵심은 새로운 과제를 빠르게 배우는 능력이라는 것이다. 아기가 관찰만으로 세상이 3차원임을 배우고, 물체 영속성과 중력 같은 직관적 물리를 익히는 과정을 예로 들었다.

데이터 규모 비교가 그의 주장을 뒷받침한다. 오늘날 LLM은 약 20조 단어로 학습하는데, 사람이 읽으려면 약 40만 년이 걸리는 분량이다. 반면 4살 아이가 깨어 있는 동안 시각으로 받아들이는 정보량도 이와 비슷한 규모다. 즉 인터넷의 모든 텍스트를 합쳐도 아이가 눈으로 본 세상만큼의 정보에 불과하다. 텍스트만으로는 인간 같은 지능에 도달할 수 없다는 결론이다. 영상은 텍스트보다 중복이 많지만, 르쿤은 이 중복이야말로 자기지도학습에 필요한 좋은 성질이라고 강조했다.

그는 추론 방식도 바꿔야 한다고 주장한다. LLM처럼 고정된 층을 한 번 통과해 출력을 내는 대신, 목표를 가장 잘 만족하는 출력을 '탐색'하는 방식이다. 시스템은 상상한 행동 시퀀스를 내부 월드 모델에 넣어 결과를 예측하고, 목표 달성도를 재는 에너지 함수를 최소화하도록 행동을 찾는다. 여기에 안전을 위한 가드레일 목적함수를 더하면, 시스템은 매 출력마다 이를 지켜야 하므로 본질적으로 안전해진다. 미세조정을 우회해 탈옥할 수 있는 LLM과 달리 구조적으로 규칙을 깰 수 없다는 것이다. 다만 파리 출장을 muscle 단위로 계획할 수 없듯, 사람이 하는 계층적 계획을 기계로 구현하는 문제는 아직 풀리지 않은 열린 과제라고 덧붙였다.

핵심 해법이 JEPA(결합 임베딩 예측 구조)다. 생성 모델은 영상을 픽셀까지 복원하려 하지만, 다음에 무엇이 올지 가능성이 무한해 예측이 흐릿해진다. JEPA는 입력과 목표를 모두 추상적 표현으로 인코딩한 뒤 그 표현 공간에서 예측해, 예측 불가능한 세부를 버리고 더 정확한 예측을 얻는다. 관건은 시스템이 입력을 무시하고 상수만 내놓는 '붕괴'를 막는 것으로, 르쿤은 정보량을 최대화하는 방법(VICReg, Barlow Twins, 그리고 최근의 SIGReg)과 증류 기반 방법(I-JEPA, V-JEPA, DINO)을 소개했다. 특히 V-JEPA는 물리적으로 불가능한 장면을 보면 내부 예측 오차가 치솟아 초보적 '상식'을 보이고, 단일 이미지에서 깊이를 잘 추정해 세상이 3차원임을 이해했음을 시사한다. 그는 물리적 AI를 위해 생성 모델을 버리라고 촉구하며, 지난해 말 메타를 떠나 실세계를 다루는 물리적 AI 회사를 새로 세웠다고 밝혔다.

주요 인사이트

• 모라벡의 역설: 체스·수학 증명처럼 사람에게 어려운 일은 컴퓨터에 쉽고, 걷기·물건 집기처럼 아이에게 쉬운 일은 컴퓨터에 어렵다. 실세계의 상식이 여전히 최대 난제다.
• 자율주행차는 수백만 시간의 데이터로도 사람 수준에 못 미치는데 사람은 20시간이면 운전을 배운다. 지능의 본질은 데이터양이 아니라 적응 속도다.
• LLM이 '추론'하는 것처럼 보이는 건 토큰을 더 많이 생성하도록 유도한 결과일 뿐, 사람은 언어(토큰) 공간이 아니라 내부 표현 공간에서 사고한다.
• 영상은 다음에 무엇이 올지 무한히 많은 가능성이 있어 픽셀 단위 예측이 실패한다. JEPA는 예측 불가능한 세부를 버리고 추상적 표현만 예측해 이 문제를 피한다.
• V-JEPA는 물리적으로 불가능한 장면을 보면 내부 예측 오차가 치솟는다. 자기지도학습만으로 '상식'의 초기 형태가 생겨났다는 신호다.

자주 묻는 질문

관련 AI 소식