얀 르쿤 JEPA·월드 모델 강연 정리: LLM의 한계와 자기지도학습이 향하는 다음 단계

핵심 메시지

• 현재의 지도학습·강화학습만으로는 사람·동물이 보이는 학습 효율에 한참 못 미치며, 최근 AI를 이끈 것은 자기지도학습이지만 이는 언어·코드 같은 이산 기호 시퀀스에서만 잘 작동한다.
• LLM은 토큰마다 계산량이 고정돼 있고 자기 예측을 다시 입력으로 쓰는 자기회귀 방식이라 오류가 시퀀스 길이에 따라 기하급수적으로 누적돼 환각으로 이어진다.
• 네 살 아이가 시각으로 받아들이는 데이터량이 최대 규모 LLM의 학습 텍스트와 비슷하다는 추정에서, 텍스트만으로는 인간 수준 AI에 도달할 수 없다는 결론이 나온다.
• 르쿤은 픽셀 단위로 미래를 복원하는 생성 모델 대신, 예측 불가능한 세부를 버리고 표현 공간에서 예측하는 JEPA(결합 임베딩 예측 구조)를 제안한다.
• 그는 생성 모델보다 JEPA를, 대조 학습보다 정규화 기반 방법을, 그리고 강화학습 남용의 최소화를 권하며 "LLM 말고 JEPA를 연구하라"고 강연을 맺는다.

쉽게 이해하기

얀 르쿤은 강연 초반부터 현재의 AI가 인간은 물론 동물의 지능에도 크게 못 미친다고 못 박는다. 초기 머신러닝을 이끈 지도학습, 한때 유행한 강화학습은 그 자체로는 불충분하며, 사람과 동물의 학습은 지도도 보상도 아닌 자기지도학습에 더 가깝다는 것이다. 자기지도학습은 언어·코드·수학 같은 이산 기호 시퀀스의 구조를 익히는 데는 놀랍도록 잘 작동하지만, 자연 신호에는 잘 통하지 않는다.

그는 LLM의 두 가지 구조적 한계를 지적한다. 하나는 토큰 하나를 생성하는 데 쓰는 계산량이 고정돼 있어, 어려운 문제에 더 많은 자원을 쓰게 하려면 사고의 사슬처럼 토큰을 더 뱉게 만드는 '꼼수'밖에 없다는 점이다. 다른 하나는 자기회귀 생성이 발산적이라는 점으로, 매 토큰마다 정답의 부분 트리를 벗어날 확률이 있고 한번 벗어나면 되돌아올 수 없어 오류가 지수적으로 쌓인다.

데이터 규모 비교는 강연의 핵심 논거다. 대표적 LLM은 약 10^14바이트의 텍스트로 학습하는데, 사람이 이를 다 읽으려면 40만 년이 걸린다. 그런데 네 살 아이가 시신경을 통해 받아들인 시각 정보도 비슷하게 약 10^14바이트에 이른다. 즉 아이는 인터넷의 공개 텍스트 전부에 맞먹는 데이터를 눈으로만 4년 만에 접한다. 이 대비에서 르쿤은 텍스트만으로는 결코 인간 수준 AI에 이르지 못한다고 단언한다.

대안은 월드 모델이다. 현재 상태와 취할 행동을 주면 다음 상태를 예측하는 모델인데, 자연 영상을 픽셀 단위로 복원하려는 생성 방식은 예측 불가능한 세부(바닥·벽의 질감, 청중의 얼굴) 때문에 흐릿한 평균만 내놓는다. 그래서 르쿤은 픽셀이 아니라 표현 공간에서 예측하는 JEPA를 제시한다. 과학이 행성 궤도를 위치·속도 여섯 개 숫자로 예측하듯, 예측에 필요 없는 세부는 추상화로 걸러 내자는 것이다.

이런 표현을 학습할 때의 최대 난제는 붕괴(collapse)다. 예측 오차만 최소화하면 인코더가 상수만 내보내 문제가 사라져 버린다. 이를 막는 방법으로 대조 학습과 정규화 기반 방법이 있는데, 르쿤은 후자를 선호한다. 실제로 증류(distillation) 계열의 DINO는 이미지 이해에서 지도학습을 능가하기 시작했고, 이 인코더 위에 예측기를 얹어 로봇 계획에 쓰는 연구(NYU 르렐 핀토 팀 협업), 영상에 적용한 VJEPA·VJEPA2가 직관적 물리 상식까지 일부 학습했다고 소개한다.

주요 인사이트

• 르쿤의 '추론은 최적화'라는 관점: 고정 층을 통과시키는 순전파 대신, 입력과 후보 출력의 부합도를 재는 에너지 함수를 두고 그 값을 최소화하는 출력을 탐색하면, 학습하지 않은 문제에도 답을 만들어 내는 제로샷 추론(심리학의 '시스템 2')이 가능해진다.
• 계층적 계획의 필요성: 뉴욕 사무실에서 내일 파리에 가겠다는 목표를 밀리초 단위 근육 제어로 세울 수는 없다. 서로 다른 시간 규모와 추상 수준에서 작동하는 계층적 월드 모델이 필요한데, 이를 학습하고 계획에 쓰는 방법은 아직 완전히 미해결이라 좋은 연구 주제라고 짚는다.
• 안전은 사후 규칙이 아니라 구조로 보장된다: 에이전트가 내부 월드 모델에 비춰 목표와 가드레일을 동시에 만족하는 행동열을 탐색하도록 설계하면, 정의상 가드레일을 벗어날 수 없다는 것이 르쿤의 주장이다.
• 데이터 라벨링에 돈을 쓸지 자기지도학습 연구에 쓸지의 선택에서, 이미지 이해에 관한 한 이제는 라벨 없는 데이터와 자기지도학습 쪽이 더 낫다는 결론이 2025년 봄 무렵에야 분명해졌다는 시점 감각도 강연의 흥미로운 대목이다.

자주 묻는 질문

관련 AI 소식