월드 모델과 비전-언어-행동(VLA), 온디바이스 에이전트 — 허깅페이스 연구자가 꼽은 올해 AI 흐름 정리

핵심 메시지

• 월드 모델은 세계를 압축해 담는 모델로, 텍스트 토큰만으로는 세상을 배울 수 없다는 문제의식에서 출발한다.
• 딥마인드의 지니 3처럼 현재 장면과 행동 입력을 받아 이어질 3D 세계를 만들어내는 연구가 대표 사례로 꼽혔다.
• 자율주행과 로봇이 실제 환경에서 움직이려면 잡음이 많은 환경을 압축해 관측·상태·행동으로 다룰 수 있어야 한다.
• 비전-언어-행동(VLA) 모델은 비전-언어 모델의 확장으로, 자연어 지시를 받아 실제 행동으로 옮긴다는 점이 다르다.
• 추론이 가능한 에이전트 모델이 휴대폰에 들어가 화면을 보고 직접 앱을 조작하는 방향이 두 번째 축으로 제시됐다.

쉽게 이해하기

허깅페이스의 연구자 메르베 노얀이 올해 눈여겨보는 AI 흐름을 짧게 정리했다. 그가 꼽은 축은 서로 얽혀 있는데, 한마디로 시각 이해가 '세계'로 넓어지고 그다음 단계로 '행동'까지 나아간다는 것이다. 그 중심에 있는 개념이 월드 모델이다. 월드 모델은 세계를 압축해 담는 모델에 가깝다고 그는 설명했는데, 얀 르쿤이 말하듯 텍스트 토큰만으로는 세상을 제대로 배울 수 없다는 문제의식이 배경에 있다.

대표적인 사례로 딥마인드의 지니 3이 언급됐다. 행동 입력과 현재 장면을 받아 그 안에서 이어질 3D 세계를 만들어내는 방식이다. 페이페이 리가 세운 월드 랩스도 비슷한 문제를 풀고 있고, 얀 르쿤의 새 연구소 역시 같은 방향을 향하고 있다는 것이 그의 관측이다. 이들이 공통으로 시도하는 것은 세계 자체를 공간적으로 모델링해, 모델이 주변을 인식하는 감각을 갖게 만드는 일이다.

왜 이것이 중요한가에 대한 답으로 그는 다소 의외의 이유를 들었다. AI가 아주 지루한 일, 실제 세상에 나가서 하는 일을 해 주기를 바란다는 것이다. 자율주행이나 로봇이 현실에서 움직이려면 잡음이 많은 환경을 압축할 수 있어야 한다. 기계학습 이전에는 물리 시뮬레이터가 그 역할을 했지만 너무 고립된 환경이었다는 지적이다. 이제는 대량의 이미지와 3D 데이터로 관측을 압축해, 그 상태에서 행동을 고를 수 있게 하는 접근이 가능해졌다.

두 번째 축은 비전-언어-행동(VLA) 모델이다. 허깅페이스도 월드 모델 그 자체는 아니지만 비슷한 결의 작업을 하고 있다고 밝혔다. VLA는 비전-언어 모델의 확장이며, 차이는 자연어로 받은 지시를 실제 행동으로 옮긴다는 점에 있다. 그는 초기 사례로 어느 연구실이 구글의 비전-언어 모델을 가져다 행동까지 다루도록 확장했던 일을 떠올리며, 비전-언어 모델이 로보틱스로 이어지는 흐름을 설명했다.

마지막 축은 휴대폰 위에서 도는 에이전트다. 그는 화면 캡처를 보고 어디를 누를지 스스로 정하는 모델이 등장할 것이라고 예전부터 예상해 왔고, 실제로 지난해 중국의 한 앱에서 그런 소형 모델이 공개됐다고 전했다. 다만 당시에는 서버로 요청을 보내는 방식이었을 것으로 본다. 올해는 이런 모델이 컴퓨터를 넘어 휴대폰과 태블릿에서 직접 돌아가기를 기대한다며, 모델이 더 작아지는 동시에 AI 연산에 특화된 가속기를 갖춘 기기가 나올 가능성도 함께 언급했다.

주요 인사이트

• 월드 모델 논의의 출발점은 '언어만으로 학습한 모델은 세계를 모른다'는 문제의식이다. 이 관점에서 보면 영상·3D 데이터로 학습하는 연구는 성능 경쟁이 아니라 학습 대상 자체를 바꾸는 시도다.
• 관측(observation)·상태·행동이라는 용어가 반복해 등장하는데, 여기에는 센서 데이터도 포함되지만 실제로는 대부분 이미지가 쓰인다는 설명이 붙었다.
• VLA 모델은 로보틱스 전용 기술이 아니라 비전-언어 모델의 자연스러운 연장선이다. 같은 계열의 모델이 화면 조작 에이전트와 로봇 제어로 동시에 뻗어 나가는 이유가 여기에 있다.
• 그는 지난해 예측했던 일들이 실제로, 그것도 매우 빠르게 일어났다고 말했다. 예측의 적중보다 주목할 부분은 시각·세계·행동으로 일반화가 넓어질수록 예상하지 못한 가능성이 열린다는 관점이다.
• 온디바이스 에이전트가 현실이 되려면 모델 경량화만으로는 부족하고 하드웨어 도약이 함께 와야 한다는 점을 짚은 대목이 눈에 띈다.

자주 묻는 질문

관련 AI 소식