공간지능이란 무엇인가: 페이페이 리가 TED 강연에서 설명한 보고 행동하는 AI의 다음 단계

핵심 메시지

• 5억 4천만 년 전 삼엽충이 처음으로 빛을 감지하면서 '보는 일'이 시작됐고, 이는 캄브리아기 폭발과 신경계·지능의 진화로 이어졌다.
• 신경망 알고리즘, GPU라는 전용 하드웨어, 이미지넷 1,500만 장 같은 대규모 데이터가 처음으로 한자리에 모이면서 현대 AI 시대가 열렸다.
• 사진을 사람 말로 설명하는 알고리즘에서 출발해, 문장을 영상으로 만드는 반대 방향까지 확산(diffusion) 모델로 가능해졌다.
• 리는 '사진을 찍는 것과 보고 이해하는 것은 다르다'에서 한발 더 나아가 '보는 것만으로는 부족하다'고 말한다. 보는 일은 행동하고 배우기 위한 것이다.
• 공간지능은 지각과 행동을 잇는 능력으로, 3차원 시뮬레이션 환경에서 로봇 행동을 학습시키거나 의료 현장에서 사람을 돕는 방식으로 실현되고 있다.

쉽게 이해하기

강연은 화면에 아무것도 보여주지 않는 것으로 시작한다. 5억 4천만 년 전 바다는 빛이 없어서가 아니라 볼 눈이 없어서 어두웠다. 열수분출공 주변까지 생명이 가득했지만 망막도 각막도 수정체도 없었기에, 그 모든 빛과 생명은 아무에게도 보이지 않았다.

그러다 빛을 감지할 수 있는 최초의 생물인 삼엽충이 등장했다. 빛을 그저 받아들이던 수동적 경험은 곧 훨씬 능동적인 것으로 바뀌었고, 신경계가 진화하면서 보는 일은 이해로, 이해는 행동으로 이어졌다. 페이페이 리는 이 연쇄가 지능을 낳았다고 설명한다.

기계의 시각도 비슷한 길을 걸었다. 9년 전 같은 무대에서 그는 신경망·GPU·대규모 데이터라는 세 가지 힘이 처음 겹친 순간을 보고했다. 당시에는 이미지에 이름표를 붙이는 것만으로도 큰 진전이었지만, 이후 알고리즘은 물체를 분리하고 관계를 예측하는 수준까지 빠르게 나아갔다. 사진을 문장으로 옮기는 연구를 함께한 제자에게 '반대로도 되게 할 수 있냐'고 묻자 '불가능하다'는 답이 돌아왔지만, 지금은 그 불가능이 현실이 됐다.

핵심 주장은 여기서 나온다. 유리잔이 식탁 끝에 아슬아슬하게 놓인 사진을 보면 사람은 순식간에 손을 뻗고 싶어진다. 뇌가 잔의 기하 구조와 3차원 위치, 식탁·고양이와의 관계를 읽고 다음에 벌어질 일을 예측하기 때문이다. 리는 지각과 행동을 잇는 이 능력을 공간지능이라 부르며, 말하고 보는 AI를 넘어 '할 수 있는' AI가 필요하다고 말한다.

실제 연구도 그 방향으로 가고 있다. 사진 여러 장을 3차원 공간으로 바꾸는 알고리즘, 한 장의 이미지에서 입체 형태를 만들어내는 알고리즘, 문장을 방 배치로 옮기는 연구가 이어졌다. 정지된 사진 대신 3차원 모델로 만든 시뮬레이션 환경에서 로봇에게 행동을 가르치고, 언어 지시로 서랍을 열거나 샌드위치를 만들게 하는 실험도 소개된다. 의료 현장에서는 손 위생 미준수나 낙상 위험을 감지하는 '주변 지능'이, 나아가 뇌파만으로 로봇팔이 요리를 하는 시험 연구까지 등장했다.

주요 인사이트

• 리의 논지는 '더 큰 모델'이 아니라 '다른 종류의 능력'을 가리킨다. 보고 말하는 능력과, 3차원 공간에서 예측하고 행동하는 능력은 성격이 다르다는 것이다.
• 이미지넷이 사진 데이터로 '보는 법'을 가르쳤다면, 지금은 행동과 동작 데이터로 '하는 법'을 가르치는 단계다. 다만 정적인 수집 대신 시뮬레이션으로 무한한 경우의 수를 만든다는 점이 달라졌다.
• 생성 영상의 한계도 솔직하게 드러난다. 리는 파도 아래로 지나가면서도 젖지 않는 고양이 눈을 예로 들며, 이런 오류에서 배워 나가게 될 것이라고 말한다.
• 의료 사례에서 그는 감시 카메라식 접근보다 '한 쌍의 눈'과 '한 쌍의 손'을 더한다는 표현을 쓴다. 인력 소진과 환자 안전이라는 현실 문제에 기술을 붙이는 관점이다.
• 강연은 기술 낙관으로만 끝나지 않는다. 사람을 중심에 두고 신중하게 단계를 밟아야 하며, 개인의 존엄을 지키면서 생산성을 보완하는 도구이자 신뢰할 수 있는 동반자가 되어야 한다는 조건이 붙는다.

자주 묻는 질문

관련 AI 소식