월드 모델·JEPA·샘플 효율성: 적은 데이터로 배우는 AI와 AGI로 가는 강화학습의 다음 단계

핵심 메시지

• 샘플 효율성은 적은 데이터로 빠르게 새 기술을 배우는 능력으로, 인간은 뛰어나지만 현재 모델은 수만 개의 데이터가 필요하다.
• 완벽한 월드 모델이 있으면 환경에서 표본을 모으지 않아도 되며, 뉴턴 역학으로 로켓 궤도를 계산하는 것이 그 극단적 예다.
• 체스→바둑→자율주행→로봇 순으로 행동 공간이 커질수록 알파고식 MCTS 방식은 비용이 폭발해 확장되지 않는다.
• 드리머 계열은 영상 확산 모델로 만든 월드 모델에 소량의 행동 조건화를 더해 ‘상상된 롤아웃’만으로 정책을 학습한다.
• JEPA(공동 임베딩 예측 아키텍처)는 픽셀이 아니라 잠재 공간에서 다음 상태를 예측해 샘플 효율을 크게 끌어올린다.

쉽게 이해하기

지금 AI의 가장 큰 미해결 문제 중 하나는 샘플 효율성이다. 즉 상대적으로 적은 학습 데이터로 새 과제나 기술을 얼마나 빨리 배우느냐다. 인간은 몇 번의 시도만으로 새 게임과 개념을 익히지만, 최고의 모델도 하나를 배우는 데 수만 개의 데이터가 필요하다. 대담자들은 이 격차를 좁힐 가장 유망한 길로 ‘월드 모델’을 지목하며, 그 동기와 수학, 현재 응용을 짚는다.

출발점은 제어와 강화학습의 기본 용어다. 상태·행동·전이 함수를 정의하고, 드론 착륙 문제를 예로 든다. 뉴턴의 운동 법칙이라는 완벽한 월드 모델이 있으면, 모델 예측 제어(MPC)로 최적 경로를 볼록 최적화로 풀 수 있다. 이것이 스페이스X가 로켓을 착륙시키는 방식과 통한다. 핵심은 완벽한 월드 모델이 있으면 환경에서 새 표본을 지능적으로 모을 필요가 없다는 점이다 — 나사가 몇 년 전부터 소행성 궤도를 계산해 맞히는 것처럼.

그러나 상대가 있는 상황처럼 전이가 확률적이고 미분 불가능해지면, 이제 볼록 최적화를 쓸 수 없고 강화학습의 세계로 넘어간다. 대담은 체스, 바둑, 자율주행, 로봇 순으로 점점 복잡한 환경을 놓고 상태 공간과 행동 공간을 비교한다. 알파고는 몬테카를로 트리 탐색(MCTS)으로 한 수를 두기 위해 모델을 수만 번 호출한다. 행동 공간이 작을 때는 이 방식이 통하지만, 자율주행처럼 행동 공간이 수십만 규모로 커지면 테스트 타임 비용이 천문학적으로 불어나 확장되지 않는다.

자율주행과 로봇의 진짜 어려움은 상태 공간이 사실상 무한하고, 사람들이 상호작용하는 미분 불가능한 환경이라는 데 있다. 게다가 유튜브에는 사람들이 행동하는 영상은 많지만 ‘그때 어떤 행동을 취했는지’에 대한 라벨은 거의 없다. 여기서 월드 모델이 등장한다. 위르겐 슈미트후버의 ‘World Models’ 논문은 합성된 상상 롤아웃만으로 정책을 학습해 환경에서 잘 작동함을 처음 보였고, 다니자르 하프너의 드리머 시리즈는 이를 이어받아 마인크래프트에서 합성 데이터만으로 다이아몬드를 캐는 정책을 만들어냈다.

최신 흐름은 소라 같은 최첨단 영상 확산·플로 매칭 모델을 이미 잘 학습된 월드 모델로 삼고, 소량의 행동 조건화만 덧붙여 원하는 과제에 맞추는 것이다. 자율주행의 Gaia나 로봇용 연구들이 이 개념을 따른다. 여기에 얀 르쿤이 제시한 JEPA(공동 임베딩 예측 아키텍처)가 결합한다. 픽셀 공간에서 다음 프레임을 통째로 예측하는 대신, 인코더로 얻은 잠재 표현에서 다음 상태를 예측해 계산·샘플 비용을 줄인다. 다만 그대로 두면 표현이 0으로 붕괴하므로 VICReg 같은 정규화 기법이 필요하다. 대담자들은 물리 정보 신경망(PINN)의 한계, 실시간 테스트 타임 적응, 촉각 같은 감각의 부재를 남은 과제로 꼽으며, 이 접근이 ‘새와 비행기’ 비유의 스퀸트 테스트를 자기회귀 LLM보다 더 잘 통과한다고 본다.

주요 인사이트

• ‘완벽한 월드 모델이면 표본이 0개’라는 극단적 사고 실험은, 좋은 예측 모델이 데이터 수집 비용을 얼마나 줄이는지를 직관적으로 보여준다.
• 환경을 체스·바둑·자율주행·로봇으로 배열해 상태/행동 공간을 비교하면, 왜 알파고식 방법이 로봇에 그대로 확장되지 않는지가 분명해진다.
• 월드 모델의 실질적 가치는 ‘상상된 롤아웃’이라는 합성 데이터로 정책을 학습해, 값비싼 실제 데이터 의존을 줄이는 데 있다.
• JEPA는 잠재 공간 예측이라는, 스테이블 디퓨전 등에서 반복적으로 등장한 아이디어의 또 다른 얼굴이며 붕괴 방지 기법이 관건이다.
• 인간이 잘 자는 종만이 지능을 갖는다는 관찰처럼, 수면 중 경험 재학습과 테스트 타임 계획이 향후 아키텍처의 힌트가 될 수 있다.

자주 묻는 질문

관련 AI 소식