월드 모델이란 무엇인가, ETH 취리히 로봇 러닝 강의로 보는 드리머부터 JEPA까지

핵심 메시지

• 월드 모델은 '지금 상태에서 이 행동을 하면 다음에 무슨 일이 일어날까'를 예측하는 모델로, 행동을 바로 출력하는 정책과는 질문 자체가 다르다.
• 좋은 월드 모델이 있으면 실제 시행 한 번의 비용으로 수많은 가상 궤적을 탐색해 가장 나은 계획만 실행할 수 있다.
• 월드 모델은 학습된 시뮬레이터에 가깝다. 물리 법칙을 손으로 짜 넣는 대신 실제 상호작용 데이터에서 전이 분포를 배운다.
• 잠재 공간에서 상상 학습을 하는 드리머 계열은 실제 4족 보행 로봇을 단 1시간의 실제 상호작용으로 걷게 만들었다.
• 최근 흐름은 도메인별 잠재 공간의 한계를 넘어 인터넷 규모 영상 모델을 백본으로 쓰는 쪽으로 옮겨가고 있다.

쉽게 이해하기

ETH 취리히의 '로봇 러닝: 기초에서 파운데이션 모델까지' 8회차 강의에서 오이어 메스는 월드 모델을 야구로 설명했다. 시속 160km대 강속구는 약 400밀리초 만에 홈플레이트에 도착하는데 시각 신호가 눈에서 뇌로 가는 데만 100밀리초가 걸려, 남은 시간으로는 판단하고 스윙하기에 부족한데도 타자가 공을 맞히는 이유는 지각이 아니라 내부 월드 모델의 예측에 근거해 스윙을 시작하기 때문이다. 그는 정책과 월드 모델의 차이를 질문의 형태로 구분했는데, 정책이나 VLA가 '지금 상태와 목표가 주어졌을 때 어떤 행동을 해야 하는가'를 묻는다면 월드 모델은 '지금 상태에서 이 행동을 하면 다음에 무엇이 일어날까'를 묻고 다음 상태에 대한 분포를 내놓는다. 그래서 정책은 물리적 인과에 상대적으로 둔감한 반면, 월드 모델은 행동이 왜 그런 결과로 이어지는지에 대한 내부 표현을 갖는다.

강의는 픽셀 공간에서 직접 예측하던 초기 접근부터 짚었다. 2016년 첼시 핀 연구진은 다음 프레임 전체를 생성하는 대신 현재 이미지를 다음 이미지로 변형하는 흐름(flow) 장을 예측했고, 후속 연구인 비주얼 포어사이트는 이를 픽셀 공간 모델 예측 제어에 활용했다. 사람의 라벨링이 필요 없고 움직임을 배우기 때문에 처음 보는 물체에도 잘 일반화되지만, L2 손실 탓에 예측이 흐릿해지고 시간이 길어질수록 오차가 누적되는 한계가 있었다.

다음 갈래는 관측을 압축한 잠재 공간에서 동역학과 계획을 모두 처리하는 방식이다. 원본 이미지의 상당 부분은 제어에 필요 없는 배경이기 때문이다. 초기 모델은 VAE로 인식을, RNN으로 기억과 예측을, 작은 컨트롤러로 제어를 나눠 맡았는데, 상상 단계에서 RNN이 자기가 만들어낸 잠재 변수를 다시 입력받으며 분포가 어긋나는 문제가 있었다. RSSM은 잠재 상태를 결코 샘플링되지 않는 결정론적 흐름과 불확실성을 담는 확률적 부분으로 나누고 KL 손실로 사전 분포를 사후 분포에 붙들어두어 이 문제를 풀었다.

드리머 계열은 여기서 계속 진화했다. V1은 테스트 시점마다 교차 엔트로피 방법으로 계획하던 것을 액터-크리틱 학습으로 내재화했고, V3는 픽셀만 보고 마인크래프트에서 다이아몬드를 캐냈다. V4는 온라인 상호작용 없이 순수 오프라인으로 같은 성과를 재현하면서, 행동 라벨 없는 영상으로 동역학 모델을 사전 학습한 뒤 행동을 붙여 미세 조정하는 구조와 RNN 은닉 상태를 트랜스포머 KV 캐시로 교체하는 변화를 함께 가져왔다. 실제 로봇에 적용한 데이드리머는 4족 보행 로봇이 단 1시간의 실제 상호작용만으로 걷는 법을 익히게 했다.

마지막으로 강의는 도메인 종속성이라는 근본적 한계를 짚으며 인터넷 규모 영상 모델로 넘어갔다. 영상은 중복이 극심해 토큰화가 관건인데, 256×256 이미지를 16×16 패치로 나누면 프레임당 256토큰, 10초 클립이면 5만 토큰을 넘긴다. 공간·시간·적응적 압축을 조합하면 같은 클립을 100토큰 수준으로 줄일 수 있다. 여기서 행동을 어디에 둘 것인가에 따라 영상과 행동을 한 모델에서 함께 생성하는 WAM 계열과, 사전 학습된 영상 백본을 얼려두고 가벼운 역동역학 모델만 로봇 데이터로 학습하는 VAM 계열로 갈린다.

주요 인사이트

• 강의자는 '월드 모델'이라는 용어가 과열돼 아무 접근이나 그렇게 부른다고 지적하며, 행동 조건부(action-conditioned)여야 한다는 기준을 제시했다. 영상만 생성하는 모델은 엄밀히 말해 월드 모델이 아니라는 것이다.
• 월드 모델을 손으로 만든 물리 엔진과 비교하면 장단점이 분명하다. 시뮬레이터는 빠르고 결정론적이지만 명시적으로 모델링한 것만 정확해서 변형 가능한 물체나 생체 조직 같은 것은 다루기 어렵다. 반면 학습된 월드 모델은 영상으로 담을 수 있는 것에는 일반화되지만 학습 데이터에 묶인다.
• 잠재 공간 방식에서는 픽셀 단위로 완벽한 복원이 필요 없다. 잠재 변수가 컨트롤러가 행동하기에 충분한 정보만 담고 있으면 되며, 실제로 상상 속 장면은 흐릿하고 추상적이어도 학습이 작동했다.
• 기억 요소의 중요성은 제거 실험으로 드러났다. 메모리를 빼면 자동차가 거의 즉시 트랙을 벗어났는데, 현재 위치는 보이지만 속도나 곡률에 대한 감각이 없어 회전을 미리 예상할 수 없기 때문이다.
• 영상 백본이 왜 유리한지는 오라클 실험이 보여준다. 실제로 일어난 미래 프레임에서 뽑은 잠재 변수를 주면 백본을 로봇 데이터로 미세 조정했든 아니든 성공률이 거의 완벽했다. 병목은 행동 디코딩이 아니라 영상 예측 품질이라는 뜻이며, 따라서 영상 모델이 좋아질수록 로봇 성능도 따라 올라간다.

자주 묻는 질문

관련 AI 소식