자율주행의 시작 ALVINN: 1980년대 신경망 주행과 데이터 증강, 그리고 웨이모까지

핵심 메시지

• 1986년 역전파 알고리즘이 발표된 직후, 한 대학원생이 이를 자율주행에 적용해 신경망이 카메라 영상만으로 조향을 배울 수 있음을 처음 보였다.
• 사람이 운전하는 모습을 보며 약 5분 만에 학습을 마치고 스스로 주행을 이어 간 실시간 학습 실험은 당대 드문 실세계 신경망 응용이었다.
• 차가 차선 중앙에서 벗어난 상황을 학습 데이터로 만들기 위해 이미지를 변형하고 좌우를 뒤집는 방식으로 수백 장을 수천 장으로 늘렸는데, 이는 오늘날 합성 데이터의 초기 사례다.
• 이 기술은 자율주행이 아니라 졸음·부주의 운전을 경고하는 차선이탈경고 시스템으로 먼저 상용화돼 지금은 대부분의 차량에 들어가 있다.
• 1996년 시연에서 '20년쯤 뒤 실제 보급'이라 예측했는데, 실제로 20년 후 웨이모가 본격 확장에 나섰다.

쉽게 이해하기

진행자는 자율주행 연구가 훨씬 오래전에 시작됐고 초기에는 기계학습이 아니라 사람이 규칙을 손으로 짜는 방식이었다는 점을 짚으며 대담을 연다. 카메라 영상에서 경계선과 색을 분석해 조향 명령을 직접 계산하는 방식이 주류였고, 여기에 신경망을 붙여 보자는 제안은 당시로선 검증되지 않은 시도였다. 게스트는 학부 시절 역전파 논문을 접하고 뇌를 닮은 구조가 실제로 학습할 수 있다는 가능성에 매료돼 신경망 연구의 중심지였던 카네기멜런대로 향했다.

출발은 우연에 가까웠다. 지도교수의 지시로 실험용 병렬 처리 기계에 역전파를 이식하는 작업을 몇 달간 한 뒤, 이 기계로 무엇을 할지 찾다가 같은 장비가 학내 자율주행 실험 차량에도 설치됐다는 사실을 알게 된 것이다. 1년 차 대학원생의 제안은 회의적으로 받아들여졌고, 실차에 오르기 전 3개월 동안 30×32 픽셀의 거친 도로 이미지를 생성하는 시뮬레이터부터 만들어야 했다. 시뮬레이션에서 이미지를 넣으면 그럴듯한 조향 방향이 나오자 비로소 실험 차량에 태워 줬다.

실제 주행 결과는 예상을 넘었다. 손으로 짠 알고리즘은 차량에 실린 고성능 컴퓨터를 제대로 활용하기 어려웠던 반면, 단순한 행렬 곱으로 이루어진 신경망은 영상을 훨씬 빠르게 처리했고 어떤 특징이 조향과 연결되는지를 스스로 배웠다. 처음에는 사람이 운전한 데이터를 밤새 학습시키는 방식이었지만, 나중에는 사람이 언덕길을 한 번 오르는 동안 실시간으로 학습해 약 5분 만에 운전을 넘겨받았다. 주행 범위도 골프장 안길에서 지역 고속도로로 넓어져, 박사과정 중 가장 긴 주행은 피츠버그에서 이리까지 약 160킬로미터에 달했다. 초기 승합차는 시속 13킬로미터 남짓이 한계였지만, 성과에 고무된 연구 지원 기관이 더 빠른 차량을 내주면서 시속 88킬로미터까지 올라갔다.

기술적으로 가장 흥미로운 대목은 데이터 부족을 다룬 방식이다. 사람은 차선 한가운데를 얌전히 달리기 때문에, 신경망이 실수로 차를 옆으로 밀어 놓으면 한 번도 본 적 없는 상황에 놓인다. 연구팀은 카메라 영상을 차가 옆으로 치우친 것처럼 왜곡하고 그에 맞는 복귀 조향값을 붙였다. 좌우를 뒤집어 반대 방향 주행 데이터를 만들고, 노면의 얼룩이나 갓길 색 변화처럼 기하학적 변형으로는 만들 수 없는 상황에는 현실감 있는 위치에 잡음 덩어리를 넣었다. 이렇게 수백 장이 수천 장으로 불어났고, 이 데이터로 5분 남짓의 온라인 학습이 이뤄졌다.

졸업 후에는 군사용 연구에서 민간 응용으로 방향이 갈라진다. 차가 도로를 벗어나는 단독 사고를 줄이기 위해 신경망이 직접 운전하는 대신 운전자에게 경고를 보내는 방향으로 과제를 제안했고, 핸들의 흔들림을 분석해 졸음 정도를 점수화하는 기능까지 더해 창업으로 이어졌다. 회사는 머신비전 업체에 인수됐고 다시 에어백 회사로 넘어가면서 대형 트럭에 탑재되기도 했다. 게스트는 이 흐름이 오늘날 거의 모든 차에 들어간 차선이탈경고로 남았다고 정리했다.

주요 인사이트

• 손으로 규칙을 짜던 접근이 밀려난 결정적 이유는 정확도만이 아니었다. 학습 기반 방식은 당시 새로 등장한 고성능 병렬 하드웨어를 훨씬 잘 활용할 수 있었고, 이 하드웨어 적합성이 곧 속도와 유연성의 차이로 이어졌다.
• 학습 데이터를 인위적으로 만들어 분포를 넓히는 발상은 최근의 유행이 아니다. 실차 주행이라는 물리적 제약 아래에서 이미 30여 년 전에 같은 문제의식이 등장했고 해법의 형태도 비슷했다.
• 차량 스스로 모든 것을 처리하는 방식과 도로에 자석을 묻는 등 인프라를 개조하는 방식의 경쟁이 당시부터 있었다. 게스트는 상세 지도를 쓰되 환경 자체는 바꾸지 않는 오늘날의 방식을 그 중간 지점으로 평가했다.
• 기술 예측이 20년 단위로 맞아떨어진 드문 사례다. 1996년 대규모 시연에서 제시한 보급 시점이 실제 확산 시기와 거의 일치했다.
• 게스트는 기술 완성도 못지않게 사회적 수용을 걱정했다. 승차 공유 기사들의 생계와 충돌하면서 자율주행 차량을 방해하는 행동이 이미 나타나고 있다는 것이다.
• 새 연구자에게 권한 방향은 언어 모델이 아니라 로보틱스와의 접점이었다. 언어는 유창해졌지만 실시간 학습과 물리 세계에 대한 접지가 여전히 부족해, 아이가 한 번 보고 따라 하는 일을 로봇은 아직 못 한다는 진단이다.

자주 묻는 질문

관련 AI 소식