공간 인지와 프런티어 모델 — 블라들렌 콜툰이 말하는 지능의 두 번째 경로

핵심 메시지

• 쉬운 것은 어렵고 어려운 것은 쉽다는 모라벡의 역설을 두 갈래로 해석할 수 있다. 지각·행동 같은 어려운 것을 먼저 쌓는 '상향식'과, 언어·추론 같은 쉬운 것을 먼저 부팅해 지렛대로 삼는 '하향식'이다.
• 아무도 성공하리라 기대하지 않았던 하향식 프로그램이 인류 문명의 디지털 기록을 학습해 예상보다 훨씬 멀리 갔다. 이는 자연이 걸었던 길과 다른, 지능으로 가는 두 번째 경로의 발견이다.
• 재밌는 이미지의 유머는 해석하는 프런티어 모델이 시뮬레이션 아파트에서 욕조를 못 찾는 이유는 '공간 인지'의 부재다. 공간 인지는 인간과 동물의 모든 고차 인지를 떠받치는 근본 능력이다.
• 1년 반 전 모든 모델은 공간 인지 과제에서 우연 수준이었지만, 2026년 들어 최고 모델이 사람 세 살배기 수준에 도달했고 미로 지름길 발견 같은 과제에서 생명의 신호가 나타나기 시작했다.
• 공간 인지는 이른바 '초지능'으로 가는 임계 경로에 있으며, 콜툰은 하향식 프로그램의 연장선에서 시뮬레이션 등 어떤 형태의 체화와 다중 모달 사고를 통해 결국 부팅될 것이라 예측한다.

쉽게 이해하기

발표자는 3년 전 CVPR의 지역 의장 워크숍에서 열린 토론에서 이야기를 시작한다. 안건은 '체화(embodiment)가 견고하고 유연한 AI에 필수적이며, 체화된 AI에 핵심 역할을 주지 않으면 파운데이션 모델의 진보는 멈춘다'였다. 스스로 '체화 진영'의 평생 회원이자 '체화 AI'라는 용어를 널리 퍼뜨린 당사자인 그는, 반대 측 논거를 대신 맡아 2023년 6월의 슬라이드를 그대로 보여주며 논의를 이끈다.

그 뿌리에는 모라벡의 역설이 있다. 지각·행동, 그리고 우리가 당연하게 여기는 감각-운동 협응은 컴퓨터에게 어렵고, 수학·체스·논리 추론 같은 고차 인지는 컴퓨터에게 쉽다. 자연이 감각-운동 협응에 수십억 년을 쓴 반면 문자와 계산은 눈 깜짝할 사이에 얻었다는 점에서, 모라벡·브룩스의 상향식 프로그램은 '지각과 행동이라는 거대한 토대 위에 언어·추론은 얇은 겉치장'이므로 어려운 것부터 부팅하라고 본다.

이에 맞서 그는 '제정신이 아닌 하향식 프로그램'을 제시한다. 전제는 같지만 결론이 반대다. 자연에게 없던 것—온라인에 쌓인 인류 문명의 방대한 디지털 기록—이 우리에겐 있으니, 쉬운 언어·고차 인지를 먼저 부팅해 어려운 것으로 올라가는 지렛대로 삼자는 것이다. 3년 전 이 접근은 체화 진영 누구의 예상보다 훨씬 멀리 갔고, 그는 케인스의 '사실이 바뀌면 나는 생각을 바꾼다'를 인용하며 과학자는 겸손하고 경험적이어야 한다고 말한다. 이는 지능으로 가는 두 번째 길, 코페르니쿠스적 전환일 수 있다.

그러나 이미지 속 농담을 이해하는 GPT-4V/4o조차 시뮬레이션 아파트에서 욕조를 찾지 못하고 정처 없이 헤맸다. 원인은 인지심리학의 근본 개념인 공간 인지였다. 공간 인지는 쥐·박쥐·새·코끼리·원숭이 등 수많은 동물에서 연구된, 고차 인지가 성립하기 위한 필수 토대다. 콜툰 연구팀의 논문 '프런티어 모델에 공간 인지가 창발하는가?'의 답은 초록 첫 문장에서 '아직 아니다'였다. 그들은 정신 회전(셰퍼드-메츨러), 관점 취하기(피아제), 미로 완성, 지름길 발견(톨먼) 같은 표준 과제를 벤치마크로 정리했고, 당시 모든 모델은 우연 수준에 그쳤다.

이후 진전이 있었다. 'Baby Vision'(2026년 1월)은 최고 모델이 사람 세 살배기 수준에 이르렀다고 보고했고, 'Mentis Oculi'(2026년 2월)는 사람이 5~10초 볼 때와 비슷한 수준이라 평가했다. 오늘날 그들의 SPACE 벤치마크에서 정신 회전은 여전히 부진하지만, 관점 취하기는 (도형의 무게중심을 추정해 코드로 각도를 재는 다소 이질적 방식이긴 해도) 초인 수준에 도달했고, 미로 완성과 지름길 발견에서도 생명의 신호가 나타났다. 나아가 다중 모달 모델이 '심상(mental imagery)'을 발달시킨다는 최근 연구('다중 모달 모델은 전기양을 상상하는가?')에서, 상상하도록 학습시키지 않았는데도 모델 내부 활성을 이미지로 디코딩하면 시각적 상상이 창발했고, 행동 복제만으로 13%에서 83%로, 시각적 사고의 사슬을 더하면 90%에 가깝게 올랐다.

주요 인사이트

• 콜툰은 지능을 1차원 스펙트럼으로 보지 않는다. 그래서 'AGI(인공 일반 지능)'라는 용어는 성립하지 않는다고 본다. 보잉 747은 '초비행'이지만 물총새의 민첩함까지 갖춘 '일반 비행'은 아니듯, 오늘의 프런티어 모델은 이미 '초지능'이되 '일반 지능'은 아니다.
• 관점 취하기에서 모델이 초인 수준을 낸 방식은 사람과 다르다. 눈대중이 아니라 각 사물의 무게중심을 추정하고 선을 그어 코드로 각도를 정밀히 계산해 답을 고른다. 과제는 풀지만 인간의 방식은 아니다.
• 연구팀은 시각 디코더가 모델 내부 활성을 이미지로 번역하도록 하되 디코더로 역전파하지 않았다. 즉 모델을 '상상하도록' 학습시키지 않았는데도 시각적 심상이 창발했다. 여기에 시각 토큰이라는 '시각적 스크래치패드'를 주자 성능이 더 올랐다.
• 콜툰은 공간 인지가 초지능으로 가는 임계 경로에 있다고 예측한다. 물리 세계를 이해하고 인간과 편안히 공존하려면 필수이기 때문이다. 다만 저절로 되지는 않으며, 시뮬레이션 속 2D·3D 체화처럼 1인칭 경험으로부터의 학습이 필요할 가능성이 크다.
• 질의응답에서 그는 로봇이 가정에 언제 들어올지는 예측하지 않겠다면서도, 자연어로 소통하며 일상 환경을 지능적으로 이동하는 '의미론적 내비게이션'이 먼저 오고 조작(manipulation)은 훨씬 뒤에 더 어렵게 올 것이라 본다. 룸바를 만든 아이로봇의 공동창업자가 바로 상향식 진영의 로드 브룩스라는 점도 언급한다.

자주 묻는 질문

관련 AI 소식