자율주행 레이싱으로 검증하는 물리적 지능: UVA 카발리에 팀의 시속 296km 도전

핵심 메시지

• 체스는 규칙이 유한한 닫힌 시스템이라 일찍 정복됐지만, 운전은 무엇이든 일어날 수 있는 열린 시스템이라 '무엇을 다 겪어봤는가'를 뜻하는 커버리지 문제가 근본 난제로 남는다.
• 언어와 시각에서 거둔 성과만으로는 일반 지능에 이르지 못하며, 사물이 어떻게 부딪히고 굴러가는지 이해하는 물리적 지능이 빠져 있다는 것이 발표의 핵심 주장이다.
• 자율주행차가 얼마나 안전한지에는 합의된 정의조차 없어, 두 차량을 비슷한 교통 상황에서 관찰해 비교할 수 있는 '장면 임베딩'을 만드는 연구가 진행 중이다.
• 주변 차량을 강화학습 에이전트로 만들어 대상 차량의 실패를 일부러 유도하는 자동 반증 기법으로 실패 시나리오 라이브러리를 쌓고, 이를 이용해 계획 알고리즘을 통계적으로 단단하게 만든다.
• 카발리에 자율주행 레이싱 팀은 인디애나폴리스에서 미국 팀 최초로 우승했고, 벽돌 구간을 시속 184마일로 통과하며 트랙 위 자율주행 최고 속도 기록을 세웠다.

쉽게 이해하기

강연은 단순한 질문에서 출발한다. 체스 그랜드마스터가 되는 것과 운전하는 것 중 무엇이 더 지적인 과제인가? 본능적으로는 체스지만, 인공지능에게 더 어려운 쪽은 운전이다. 체스는 복잡해도 유한한 규칙으로 닫혀 있는 반면 도로 위에서는 무엇이든 일어날 수 있고, 마주칠 수 있는 모든 물체와 환경, 그 사이의 시공간적 상호작용이 만드는 공간은 제대로 서술조차 할 수 없을 만큼 크다.

최근 몇 년간 언어와 시각에서는 불가능해 보이던 문제들이 풀렸지만, 발표자는 그것만으로 일반 지능에 도달할 수 없다고 단언한다. 빠진 것은 물리적 지능, 즉 사물이 어떻게 상호작용하고 시간에 따라 굴러가는지 이해하는 능력이다. 그는 화제가 된 AI 생성 영상들을 예로 들며 배경을 보라고 말한다. 자전거가 차량 사이를 유령처럼 통과하고, 한 방향으로 흐르던 교통에 버스가 역주행으로 끼어들며, 고속 차량이 달리는 도로 한복판에 보행자가 갑자기 생겨난다.

그래서 그의 연구실은 안전성 측정이라는 가장 기본적인 질문부터 붙잡는다. 놀랍게도 자율주행차가 얼마나 안전한지에 대한 합의된 정의가 없고, 주행 거리나 개입 횟수 같은 집계 지표로는 다른 지역에서 운행한 두 차량 중 어느 쪽이 더 안전한지 답할 수 없다. 사과 대 사과 비교를 하려면 비슷한 교통 상황을 자동으로 찾아내야 하는데, 처음에는 비디오 트랜스포머로, 다음에는 궤적 공간에서 비교하다가, 최근에는 궤적을 언어 설명으로 바꿔 대형 모델의 추론 능력으로 상황을 기술하는 방식이 유망하다는 결과를 얻었다.

두 번째 축은 실패에서 배우는 방법이다. 대상 차량은 블랙박스로 두고 주변 차량들을 강화학습 에이전트로 만들어 사고를 유발하게 하는 자동 반증으로 실패 시나리오를 모으고, 이를 이용해 계획 알고리즘을 통계적으로 단단하게 만드는 하드닝을 거친다. 세 번째 축은 레이싱이다. 도로에는 차선과 표지판 같은 구조가 있어 남의 행동을 예측할 수 있지만 레이싱에는 그 구조가 없어, 인지는 오히려 단순해지는 대신 예측과 계획이 훨씬 어려워진다. 1/10 스케일 경주차와 무료 커리큘럼을 공개하고 60달러짜리 레이싱 게임을 시뮬레이터로 바꿔 실험한 끝에, 웨이포인트 수백 개 대신 소수의 제어점으로 궤적을 나타내는 베지어 곡선을 쓰자 주행이 훨씬 안정됐다.

실차는 인디라이츠와 같은 섀시에 운전대도 페달도 없이 라이다·레이더·카메라 여섯 대와 GPU를 채운 완전 자율 경주차다. 시속 150마일 급제동과 유령 상대 추월로 위험을 나눠 검증한 뒤 실제로 시속 115마일 상대를 130마일로 추월했고, 지난해 가을 대회에서는 비 때문에 앞선 팀이 스핀한 조건에서도 170.645마일 랩을 기록해 미국 팀 최초로 우승하며 벽돌 구간을 시속 184마일로 통과했다. 그럼에도 발표자는 스무 대가 뒤엉킨 혼돈 속에서 매 주말 레이스를 치르는 인간 수준에는 아직 멀었다고 못 박으며, 평균적인 운전자를 관찰해 배운 AI와 세계 최고 드라이버에 필적하는 AI 중 무엇에게 운전대를 맡기겠느냐는 질문으로 강연을 닫는다.

주요 인사이트

• 안전을 '측정'하는 문제가 안전을 '개선'하는 문제보다 앞선다. 비슷한 상황을 자동으로 찾아내는 검색 능력이 없으면 두 자율주행 시스템을 비교할 근거 자체가 만들어지지 않는다.
• 픽셀에서 궤적으로, 다시 언어로 넘어간 연구 궤적은 흥미롭다. 인지 부담을 걷어내려 궤적으로 갔다가, 여러 차량의 상호작용을 함께 다루는 확장성 문제에 부딪혀 언어 표현으로 돌아왔다.
• 실패를 기다리지 않고 만들어 내는 자동 반증은 발상의 전환이다. 다만 아무 충돌이나 유도하면 의미가 없어, '자차 잘못이 분명하고 현실적인 사고'만 골라내는 보상 설계가 실제 난제로 남는다.
• 웨이포인트 수백 개 대신 베지어 곡선 제어점 몇 개로 궤적을 표현하자 성능이 안정됐다는 대목은, 출력 표현을 바꾸는 것만으로 학습 난이도가 달라진다는 점을 잘 보여준다.
• 도로의 차선과 표지판은 내 운전보다 '남의 행동을 예측하기 위한' 장치라는 관점은, 구조가 사라진 환경에서 왜 예측과 계획이 급격히 어려워지는지 설명해 준다.

자주 묻는 질문

관련 AI 소식