멀티모달 월드 모델이란: AI가 머릿속에 이미지를 그리며 추론하면 정말 더 잘 풀까

핵심 메시지

• 월드 모델은 심리학과 인지과학의 “머릿속 모형” 개념에서 출발한 것으로, 행동의 결과를 미리 돌려 보고 가장 나은 선택을 고르게 해 주는 내부 시뮬레이터에 해당한다.
• 오늘날의 대형 언어 모델은 언어로 세계를 표현하는 월드 모델 역할을 이미 하고 있지만, 어린아이도 푸는 물리적·공간적 과제에서는 여전히 약하다는 점이 문제의 출발점이다.
• 연구진은 시각 생성이 언어보다 더 정보가 풍부하고 지식이 밀집된 표현을 만든다는 “시각 우위 가설”을 내세우고, 이를 검증할 일곱 개 과제를 직접 설계했다.
• 종이접기 전개도나 여러 물체 조작, 정육면체의 다른 면 추정처럼 공간 변환이 핵심인 과제에서는 이미지를 생성하며 추론한 쪽이 뚜렷하게 앞섰다.
• 반면 미로처럼 좌표만 따라가면 되는 단순 격자 과제에서는 시각 생성이 도움이 되지 않았고, 좌표를 아예 가린 채 학습한 모델이 오히려 가장 좋은 성적을 냈다.

쉽게 이해하기

미쓰비시전기연구소(MERL) 세미나 시리즈에 칭화대 박사과정의 우자룽(Jialong Wu)이 연사로 나서, 멀티모달 월드 모델과 인간다운 추론을 주제로 최신 논문의 배경과 핵심 결과를 소개했다. 발표는 두 가지 질문을 축으로 진행됐다. 멀티모달 월드 모델이란 무엇이고 왜 필요한가, 그리고 시각 생성은 언제 어떻게 추론에 도움이 되는가다.

발표자는 월드 모델의 뿌리를 인지과학의 심상 모형에서 찾았다. 탁자 위에 물이 쏟아지는 장면을 보면 우리는 물이 퍼져 바닥으로 떨어질 미래를 머릿속에서 먼저 돌려 보고, 그 결과가 마음에 들지 않으면 수건을 집으러 간다. 이렇게 시뮬레이션을 거쳐 행동을 고르는 방식이 이른바 시스템 2에 해당하며, 반사적으로 곧장 행동하는 시스템 1과 구분된다는 설명이다.

무엇을 예측할 것인가를 두고는 커뮤니티의 견해가 갈린다. 원본 픽셀을 그대로 생성하는 접근이 널리 쓰이지만, 픽셀 생성은 낭비이고 과제에 필요한 정보만 담은 추상 표현을 써야 한다는 반론도 강하다. 다만 그런 추상 표현을 대규모로 학습하는 방법은 아직 확립되지 않았고, 발표자 팀은 언어와 시각이 서로 다른 층위의 추상을 보완적으로 담당한다는 쪽에 섰다.

검증을 위해 연구진은 월드 모델의 기본 능력을 두 가지로 정리했다. 일부 관측만 보고 환경 구조를 재구성해 다른 시점의 모습을 떠올리는 능력, 그리고 세계가 어떻게 변해 갈지 다음 관측을 예측하는 능력이다. 그리고 같은 오픈소스 통합 멀티모달 모델을 기반으로, 추론 과정에 이미지를 끼워 넣은 경우와 언어로만 상태를 서술한 경우, 아무 관측도 남기지 않은 경우를 각각 학습시켜 성능을 비교했다.

결과는 과제의 성격에 따라 갈렸다. 공간 변환이나 물리적 시뮬레이션이 필요한 과제에서는 이미지를 생성하며 추론한 쪽이 확실히 앞섰고, 중간에 만들어 낸 이미지의 정확도도 예상보다 높았다. 반대로 언어로 좌표를 따라가는 것만으로 충분한 단순 격자 과제에서는 이점이 사라졌으며, 사전 학습된 모델 내부에 이미 상태를 담은 표현이 자리 잡고 있다는 사실이 탐침 실험으로 확인됐다.

주요 인사이트

• 언어 기반 추론이 잘 통하는 영역과 그렇지 않은 영역이 분명하게 갈린다. 수학과 코드처럼 언어적 지식이 지배하는 형식적 영역에서는 이미 전문가 수준에 이르렀지만, 물리적이고 공간적인 과제는 여전히 사람에 크게 못 미친다는 것이 문제의 출발점이었다.
• 시각 표현이 유리한 이유는 정보량과 지식의 분포 두 가지로 설명됐다. 언어와 기호는 높은 수준의 요약에는 강하지만 모호함과 표현의 병목을 안고 있고, 공간 관계나 물리적 변형에 관한 지식은 애초에 시각 데이터에 몰려 있다는 것이다.
• 종이접기 과제에서 언어로만 추론한 모델은 펼치는 단계 자체를 지어내는 실패를 보였다. 기하학적 대칭에 대한 이해가 필요한 변환은 이미지와 영상에서 배우는 편이 훨씬 자연스럽다는 점을 보여 주는 사례다.
• 단순 미로 과제에서 좌표를 마스킹한 모델이 가장 좋았다는 결과는 뒤집어 보면, 사전 학습만으로도 내부에 상태 표현이 이미 생겨 있다는 뜻이다. 모델이 스스로 갖고 있는 능력을 굳이 밖으로 꺼내 쓰게 만들면 오히려 손해일 수 있다.
• 가장 큰 걸림돌은 데이터다. 글과 이미지가 번갈아 나오는 형태의 자연스러운 추론 데이터가 인터넷에 충분하지 않아, 도구를 쓰던 기존 시각 추론 데이터를 재활용하거나 이미지 생성 모델을 붙인 에이전트로 데이터를 만드는 방안이 거론됐지만 사전 학습 단계의 공백은 여전히 남아 있다.

자주 묻는 질문

관련 AI 소식