월드 모델이란? 얀 르쿤의 LLM 한계 지적과 메타·오픈AI·월드랩스의 연구 방향 정리

핵심 메시지

• 메타의 수석 AI 과학자이자 튜링상 수상자인 얀 르쿤은 대규모 언어 모델이 5년 안에 구식이 될 것이라며, 물리적 세계를 이해하는 월드 모델로 무게중심이 옮겨가야 한다고 주장한다.
• 월드 모델은 AI 내부에 만들어 둔 현실 세계의 축소 모형으로, 사람이 머릿속으로 결과를 그려 보듯 AI가 상황을 시뮬레이션해 예측하게 하는 접근이다.
• 르쿤은 오늘날 LLM이 학습하는 텍스트 분량을 사람이 읽으려면 50만 년이 걸리지만, 사람은 네 살 무렵 감각을 통해 그와 비슷한 양의 정보를 얻는다는 비교로 텍스트 중심 학습의 비효율을 지적한다.
• 메타는 세상의 규칙을 학습하게 하는 JEPA 계열을 영상으로 확장했고, 오픈AI는 데이터를 충분히 주면 신경망 안에 세계 모형이 저절로 생긴다는 입장에 가깝다.
• 월드랩스는 이미지 한 장으로 탐색 가능한 3D 공간을 만드는 쪽, 딥마인드는 그 공간 안의 경험과 상호작용을 시뮬레이션하는 쪽으로 초점이 갈린다.

쉽게 이해하기

메타의 수석 AI 과학자이자 뉴욕대 교수인 얀 르쿤은 최근 대규모 언어 모델이 앞으로 5년 안에 구식이 될 것이라고 말했다. 그는 제프리 힌턴, 요슈아 벤지오, 앤드루 응과 함께 AI 분야의 대표 석학으로 꼽히며 2018년 튜링상을 받은 인물이다. 그의 주장은 인간 수준의 AI를 만들고 싶다면 언어 모델만 바라볼 것이 아니라, 물리적 세계를 이해하고 사람과 협업할 수 있는 AI, 즉 월드 모델로 눈을 돌려야 한다는 것이다.

월드 모델은 AI 내부에 구축된 현실 세계의 모형을 뜻한다. 사람이 머릿속으로 상황을 그려 보며 결과를 예측하듯, AI도 스스로 환경을 이해하고 처음 보는 상황에 대응하게 하자는 발상이다. 현재의 언어 모델은 방대한 텍스트를 학습하지만 세상은 변수가 너무 많아 데이터 속 패턴만으로는 완전히 파악하기 어렵다. 특히 로봇처럼 물리적 세계와 직접 부딪치는 경우, 세계가 어떻게 작동하는지를 내부에 갖추지 못하면 새 환경에 적응하거나 행동의 결과를 예측하기 어렵다.

르쿤이 즐겨 드는 근거는 정보량 비교다. 오늘날 언어 모델은 30조 개가 넘는 토큰, 즉 100조 바이트 규모의 텍스트를 학습하는데, 사람이 이 분량을 모두 읽으려면 50만 년 이상이 걸린다. 그런데도 사람은 네 살 무렵이면 시각·청각·촉각 같은 감각을 통해 그와 비슷한 양의 정보를 이미 받아들인다. 텍스트만으로 세계를 이해하려는 시도가 비효율적이며 영상 같은 감각 데이터로 물리 세계를 배워야 한다는 주장의 근거다. 이는 사람에게 쉬운 일이 컴퓨터에게는 어렵다는 모라벡의 역설과도 맞닿아 있다.

기업별 접근은 갈린다. 르쿤이 제안한 JEPA는 데이터를 그대로 예측하는 대신 세상의 규칙을 학습하게 하는 구조이고, 메타는 2025년 6월 이를 영상 영역으로 확장한 V-JEPA 2를 공개했다. 100만 시간이 넘는 영상을 자기지도 방식으로 학습해 사람과 사물의 움직임을 이해·예측하고 실제 로봇의 행동 계획에도 적용됐으며, 메타는 시각·청각·촉각을 결합한 멀티모달 월드 모델로 나아갈 계획이다. 반면 오픈AI는 언어 모델의 성능을 끌어올리는 전략을 유지하면서 이미지 인식과 외부 도구 사용으로 확장하는 쪽이며, 데이터가 충분하면 신경망 내부에 세계 모형이 자연스럽게 형성될 것으로 기대하는 편이다.

스타트업 쪽도 움직인다. 스탠퍼드의 페이페이 리 교수가 설립한 월드랩스는 이미지 한 장과 텍스트 프롬프트만으로 계속 탐색할 수 있는 3D 세계를 만들어 내는 모델 마블을 내놨다. 결과물은 가우시안 스플랫 형식으로 내보낼 수 있어 게임 엔진이나 VR, 영화 제작에 쓸 수 있다. 영상은 월드랩스가 시각적으로 완성된 3D 공간을 만드는 데 집중하는 반면 딥마인드는 그 공간 안에서의 경험과 상호작용을 시뮬레이션하는 데 무게를 둔다는 점을 차이로 짚었다.

주요 인사이트

• 월드 모델 논쟁의 핵심은 성능 경쟁이 아니라 학습 재료의 문제다. 같은 정보량을 텍스트로 읽어 얻을 것인가, 감각 데이터로 겪어 얻을 것인가에 대한 노선 차이다.
• 메타와 오픈AI의 입장 차이는 흥미롭다. 한쪽은 세계 모형을 명시적으로 설계해 넣으려 하고, 다른 한쪽은 규모를 키우면 내부에 저절로 생긴다고 본다.
• 월드 모델은 로봇에서 가장 먼저 실효를 낼 가능성이 크다. 자율주행이나 제조, 물류처럼 행동의 결과를 미리 따져야 하는 시스템에서 시뮬레이션 능력은 곧 의사결정 품질로 연결된다.
• 3D 공간을 만드는 기술과 그 안의 상호작용을 시뮬레이션하는 기술은 별개다. 두 갈래가 합쳐질 때 비로소 '머릿속 예행연습'에 가까운 AI가 나온다.

자주 묻는 질문

관련 AI 소식