월드 모델과 공간 지능: 산야 피들러가 말한 자율주행 시뮬레이션의 진화와 피지컬 AI의 남은 과제

핵심 메시지

• 트랜스포머는 특정 과제를 위한 설계가 아니라 입력을 토큰으로 바꿔 계산 방식을 정하는 범용 구조여서, 월드 모델과 대립하는 개념이 아니다.
• 그럼에도 발표자는 트랜스포머가 종착점은 아니라고 본다. 상태공간 모델처럼 순환 신경망의 아이디어를 다시 꺼내 든 시도가 이미 나오고 있고, 학습 비용을 낮추려면 구조 혁신이 더 필요하다.
• 자율주행 시뮬레이션은 아티스트가 만든 그래픽 엔진에서 주행 기록을 3D로 복원하는 방식으로, 다시 데이터에서 시뮬레이션 자체를 학습하는 방식으로 옮겨 가고 있다.
• 복원 기반 시뮬레이션의 한계는 행동을 크게 바꿀 수 없다는 점이다. 차가 2미터 앞에서 멈춘 기록으로는 10센티미터 앞에서 멈췄을 때 보행자가 어떻게 반응할지 알 수 없다.
• 촉각과 힘 데이터는 사실상 존재하지 않는다. 발표자는 학습 모델의 상한이 데이터이며, 물리 시뮬레이터를 데이터 생성기로 쓰는 절충안을 언급했다.

쉽게 이해하기

월드 모델과 공간 지능이 인공지능의 다음 무대라는 말은 자주 들리지만, 그것이 트랜스포머를 대체한다는 뜻인지는 헷갈리기 쉽다. 엔비디아의 AI 연구 부사장이자 토론토대 교수인 산야 피들러는 둘이 배타적인 관계가 아니라고 정리한다. 트랜스포머는 텍스트든 영상이든 3D 정보든 토큰으로 바꿔 넣으면 계산 방식을 정해 주는 범용 구조이고, 언어 모델링과 세계 시뮬레이션은 그 위에 올라가는 서로 다른 과제라는 것이다.

그가 말하는 월드 모델은 일종의 시뮬레이터다. 가상의 세계에서 어떤 행동을 하면 다음에 무슨 일이 벌어질지를 모델이 만들어 내되, 실제와 구분하기 어려운 수준을 목표로 한다. 공간 지능은 여기에 3D의 중요성을 더한 개념이다. 몸을 가진 존재가 움직이는 세계는 3차원이고, 라이다 스캔이나 깊이 카메라처럼 들어오는 신호 자체가 3D인 경우가 많으며, 로봇은 물건에 부딪히지 않아야 하기 때문이다.

인터뷰에서 가장 구체적인 대목은 자율주행 시뮬레이션의 세대 교체다. 초기에는 그래픽 엔진으로 장면을 만들었는데, 샌프란시스코의 새 교차로 하나를 시험하려면 아티스트 작업에 두 달이 걸렸다. 다음 세대는 주행 기록을 3D로 복원해 그대로 시뮬레이션 환경으로 쓰는 방식이었고, 이미 실제로 쓰여 하루 200만 건 규모의 시뮬레이션이 돌아간다. 다만 복원된 장면에서는 행동을 크게 바꿀 수 없다는 한계가 남았다.

그래서 나온 것이 시뮬레이션 자체를 데이터에서 학습하는 접근이다. 일반 영상으로 폭넓게 학습한 뒤 주행 데이터로 미세 조정하면, 다음에 벌어질 일을 예측하는 모델이 된다. 지난해 공개된 코스모스는 텍스트나 한 장의 프레임에서 몇 초짜리 영상을 만들어 냈지만 생성에 수 분이 걸려 실용성이 없었다. 올해 발표된 후속 모델은 실시간으로 동작하고 사용자가 운전대를 잡거나 로봇이 개입할 수 있어, 소프트웨어 전체를 모델이 써낸 게임 엔진에 가깝다고 그는 설명했다.

남은 과제는 분명하다. 지금도 지도와 다른 객체의 입체 박스 같은 고전적 요소를 따로 계산해 모델에 넣는데, 이 과정이 실시간이 아니라 모델이 그려 낸 눈이나 도로의 균열과 어긋난다. 레이더와 라이다는 연산 부담이 크고, 소리는 아직 다뤄지지 않았다. 구급차 소리를 보기 전에 듣는 상황을 떠올려 보면 왜 필요한지 분명하다. 촉각은 더 어렵다. 장갑을 끼고 데이터를 모으는 방식은 확장성이 없고, 물리 시뮬레이터로 특정 재질과 물체에 대해 데이터를 만들어 보태는 편이 현실적이라는 게 그의 견해다.

주요 인사이트

• "학습 모델의 상한은 데이터"라는 말이 인터뷰 전체를 관통한다. 영상은 온 세상이 찍어 대는 흔한 신호지만 힘과 접촉은 기록된 적이 거의 없고, 그 격차가 로봇이 어려운 이유다.
• 자율주행이 앞서가는 이유는 알고리즘이 아니라 규모다. 도로 위에 이미 수많은 차가 있고 각종 센서를 단 채 10만 시간 단위의 데이터를 모을 수 있는 반면, 로봇은 그런 규모로 세상에 나와 있지 않다.
• 발표자는 AGI 질문을 피하면서도 물리 세계가 남은 경계라는 점은 분명히 했다. 이미 강력한 언어 모델들이 물리적 상황에서는 여전히 어이없는 실수를 한다는 것이다.
• 로봇의 '챗GPT 순간'에 대한 그의 감각은 신중하다. 자율주행은 몇 년 안에 대중화에 가깝다고 보지만, 범용 로봇은 2017~2018년의 자율주행과 비슷한 단계이며 하드웨어부터 남은 문제가 많다고 말한다.
• 3D를 명시적으로 다뤄야 하는지, 2D 영상만으로 3D 감각이 창발하도록 두어야 하는지는 아직 결론이 없다. 본인도 두 방향에 함께 걸고 있다고 인정한 대목이 이 분야의 현재를 잘 보여 준다.

자주 묻는 질문

관련 AI 소식