AI 세계모델 검증: 도시 산책 영상 공간추론 벤치마크와 동물 동작 예측 실험 결과

핵심 메시지

• 우리가 학습시키는 AI는 세계를 직접 본 적이 없고 사람이 골라 남긴 자료만 보기 때문에, 무엇을 배웠는지는 겉으로 드러나는 능력으로 추론할 수밖에 없다.
• 세계모델을 상태와 동역학을 갖춘 시뮬레이터로 정의하면, 추론은 행동을 바꿔 가정을 돌려 보는 것이고 예측은 같은 모델을 시간 방향으로 굴리는 것이 된다.
• 한 시간짜리 도시 산책 영상으로 만든 공간 추론 벤치마크에서 모델은 장면 인식은 잘했지만 위치와 거리를 다루는 질문에서는 크게 밀렸다.
• 네 프레임의 움직임만 보고 이후 동작을 예측하는 모델은 포유류로만 학습했는데도 새와 나비 같은 대상까지 어느 정도 일반화했다.
• 서로 다른 모달리티의 표현이 결국 하나로 수렴한다는 가설은 데이터가 커지고 조밀해지면 성립하지 않는다는 반례가 제시됐다.

쉽게 이해하기

발표자는 우리가 훈련시키는 AI가 세계를 직접 겪은 적이 없다는 점에서 이야기를 시작한다. 모델이 보는 것은 사람이 촬영하고 선택해 남긴 조각들뿐이고, 이는 여러 미술 학생의 그림만 보고 원래 대상이 무엇이었는지 알아맞히려는 상황과 비슷하다. 그렇다면 기대치의 상한을 어디에 둬야 할까. 발표자는 우리가 모델을 가졌다고 확실히 아는 유일한 존재가 사람이므로, 사람의 심상 모델을 기준으로 삼자고 제안한다.

인간의 심상 모델은 불완전하고 쉽게 잊히며 비과학적이고 경계가 흐릿하다. 그럼에도 쓸모가 있는 이유를 발표자는 케네스 크레이크의 고전적 정의에서 찾는다. 머릿속에 작은 축소판 세계와 자신의 가능한 행동들을 갖고 있다면, 여러 대안을 미리 시험해 보고 닥치지 않은 상황에 앞서 반응할 수 있다는 것이다. 여기서 세계모델은 지식의 더미가 아니라 시뮬레이션 도구로 재정의된다. 현재 상태와 행동을 넣으면 다음 상태가 나오는 구조이며, 이를 시간 방향으로 반복하면 예측이 되고 행동을 바꿔 가며 돌리면 반사실적 추론이 된다.

첫 번째 실험은 대규모 공간 인지를 다룬다. 연구진은 사람이 카메라를 들고 한 시간 넘게 도시를 걷는 1인칭 영상을 모아, 지도 정합 서비스를 프레임 단위로 돌려 경로의 실제 좌표를 복원했다. 그 위에 인지과학의 세 단계, 즉 특정 장소를 알아보는 랜드마크 지식, 한 지점에서 다른 지점으로 가는 경로 지식, 여러 경로를 통합한 지도 지식에 대응하는 문항 약 천 개를 오지선다로 만들었다. 사람과 모델 모두 지도를 볼 수 없고 영상만 본다.

결과는 대체로 사람이 앞섰지만 한 지점이 예외였다. 같은 장소를 두 번 지났는지 판별하는 루프 폐쇄 문항에서 모델이 사람보다 잘한 것이다. 다만 추론 흔적을 뜯어보니 모델은 사람처럼 이동 거리를 누적해 판단한 것이 아니라, 마지막 장면과 닮은 프레임을 처음부터 하나씩 훑어 찾아내는 방식으로 문제를 우회하고 있었다. 실제로 장면을 알아보는 정확도는 높았지만 얼마나 멀리, 언제 지났는지를 묻는 순간 성능은 무너졌다. 정답 지도를 쥐여 줘도 도움이 되지 않았고, 오히려 영상을 통째로 빼고 지도와 경로 설명만 주면 성적이 올라갔다.

두 번째 실험은 언어를 배제하고 순수하게 동작을 예측한다. 동물 영상에서 조밀한 점 궤적을 뽑고, 네 프레임의 짧은 움직임 이력과 외형 특징만 준 뒤 확산 모델로 이후 궤적을 복원하도록 학습시킨 것이다. 미래의 움직임은 하나로 정해져 있지 않기 때문에 정답 궤적과의 거리 대신 예측 분포와 실제 분포를 비교하는 방식으로 평가했다. 포유류 영상만으로 학습했는데도 새나 나비 같은 대상에 제로샷으로 어느 정도 통했고, 발표자는 낮은 수준의 국소적 움직임에는 종을 넘는 공통 구조가 있기 때문일 것이라고 해석한다.

마지막으로 다룬 주제는 모든 모달리티의 표현이 결국 하나의 실재로 수렴한다는 가설이다. 연구진이 확인해 보니 그 주장은 세계가 작고 희소하며 모달리티 간 대응이 일대일이라는 전제 위에서만 성립했다. 데이터가 커지고 조밀해지거나 한 이미지를 여러 문장으로 기술할 수 있는 상황이 되면 서로의 최근접 이웃이 같은 대상을 가리키지 않게 되고 정렬은 무너진다. 발표자는 모든 유기체가 저마다의 감각 세계 안에 갇혀 있다는 움벨트 개념을 끌어와, 세계모델이 하나로 모이지 않을 가능성을 열어 둔다.

주요 인사이트

• 벤치마크의 흥미로운 지점은 모델이 틀렸다는 사실이 아니라 정답을 맞히는 경로가 사람과 달랐다는 데 있다. 프레임 단위 검색은 효율적이지만 똑같이 생긴 가게가 도시 반대편에 하나 더 있는 순간 무너진다는 지적이 질의응답에서 나왔다.
• 영상을 빼면 성적이 오른다는 결과는 멀티모달 모델의 구조적 편향을 드러낸다. 발표자는 많은 시각언어 모델이 언어모델을 먼저 만들어 두고 시각 부분을 나중에 덧붙이는 방식으로 조립되어, 시각 정보가 언어로 번역된 뒤 추론이 언어 쪽에서 일어난다고 설명한다.
• 미래 예측을 평가할 때 정답 궤적 하나와의 거리를 재는 관행은 다중 미래라는 본질을 무시한다. 이 연구가 분포 사이의 거리를 택한 것은 단순화된 방법이지만 문제 정의 자체를 바로잡으려는 시도다.
• 발표자가 꼽은 미비점은 추론과 예측을 하나로 묶는 통합, 픽셀보다 높고 의미보다 낮은 중간 수준 표현, 명시적인 불확실성, 그리고 무엇보다 세계를 직접 겪는 체화다.

자주 묻는 질문

관련 AI 소식