KAIST 심현철 교수 강연 정리: 자율 드론 레이싱과 자율주행 경주, 그리고 비행기를 조종하는 휴머노이드

핵심 메시지

• 아부다비 자율 드론 레이싱은 단안 카메라 한 대와 저가 관성센서만 허용하고 벽면을 특징 없는 검은 천으로 덮어, 일반적인 시각 SLAM이 통하지 않는 조건을 만든다.
• 연구팀은 위치와 크기를 미리 아는 레이싱 게이트의 네 모서리를 검출해 위치를 추정하는 방식으로 문제를 풀었다. 2000년대 초 마커 기반 기법의 지혜를 다시 꺼내 쓴 셈이다.
• 이동 로봇은 언제나 탑재 컴퓨팅에 묶여 있어서, 가볍게 만들어진 옛 알고리즘이 오히려 유리하다는 것이 강연의 반복되는 주제였다.
• 자율주행 경주에서는 센서가 너무 많아 컴퓨팅이 병목이 됐고, 좋은 시뮬레이터가 없어 강화학습 대신 고전 제어 기법을 썼다.
• 휴머노이드 파일럿 연구는 기체를 개조하는 대신 사람이 쓰는 조종석을 그대로 쓰는 접근으로, 빠른 반사 제어와 느린 추론 계층을 나누는 이중 구조를 택했다.

쉽게 이해하기

서울대에서 학·석사를 마치고 현대에서 일한 뒤 UC버클리에서 박사를 받은 심현철 교수는, 1990년대 후반 대학 연구실에서 헬리콥터를 자동화하던 시절부터 지금까지의 여정을 모교 세미나에서 정리했다. 그가 시작하던 때는 드론이라는 말도 없었고 전자 장비가 무거워 기체가 커야만 했다. 지금은 같은 기능이 몇 그램에 들어간다.

강연의 절반은 대회 이야기였다. 그는 2016년 로봇 학회에서 세계 최초의 실내 자율 드론 레이싱을 만들었다. 당시 야심 차게 게이트를 30개 가까이 세웠지만 가장 잘한 팀조차 아홉 개 남짓을 통과하는 데 그쳤다. 외부 모션캡처 장비 없이 기체에 실린 컴퓨터만으로 위치를 추정하자는 원칙을 그때부터 밀어붙였다.

최근 아부다비 대회는 조건이 훨씬 까다롭다. 스테레오나 깊이 카메라, 라이다는 금지되고 단안 카메라 한 대와 드론 제어보드에 붙은 저가 관성센서만 쓸 수 있다. 게다가 주최 측이 벽을 특징 없는 검은 무광 천으로 덮어 놓아, 화면에서 뽑아 쓸 시각 특징 자체가 없다. 많은 팀이 여기서 고전했다.

해법은 옛 방식에서 나왔다. 그는 2000년대 중반 마커 기반 위치 추정을 하던 경험을 떠올려, 위치와 규격이 이미 알려진 레이싱 게이트의 모서리 점들을 검출해 관성-시각 추정을 보정하는 방식을 택했다. 여기에 오차 상태 칼만 필터와 자체 개발한 시각-관성 추정기를 얹었다. 검증용 기준값이 필요했는데, 학생이 만든 팩터 그래프 최적화 결과가 실험실의 모션캡처 장비보다 오히려 정확했다고 한다.

자율주행 경주 이야기에서는 현실적인 제약이 두드러졌다. 카메라와 레이더, GPS, 원거리 라이다까지 센서가 많다 보니 알고리즘이 화려하지 못한 이유가 컴퓨팅 과부하라는 것이다. 강화학습을 쓰려면 좋은 시뮬레이터가 필요한데 경주 데이터 자체가 적어 시뮬레이션과 실제의 격차가 크고, 그래서 대학원 첫 학기에 배우는 고전 제어 기법을 쓴다고 밝혔다. 타이어 마찰을 예측하기 어려운 것도 같은 맥락의 난제다. 사고 비용도 만만치 않아 바퀴 하나 손상에 2만 달러, 큰 사고에는 4만 달러가 들었다고 했다.

마지막 주제가 이 강연의 핵심이다. 그는 헬리콥터, 자동차, 비행체마다 따로 자동화하는 대신 '모든 것을 아우르는 하나'가 없을까 물었고, 답을 인간에서 찾았다. 사람은 어느 탈것에나 올라타 조종한다. 그렇다면 사람 형태의 로봇이 기존 조종석을 그대로 쓰면 된다. 2021년 한국 연구비를 받았을 당시에는 언어 모델과 로봇 행동을 어떻게 연결할지가 빈칸이었지만, 이후 시각-언어-행동 모델과 에이전트 방식이 등장하며 그 자리가 채워졌다.

구현에서 갈라진 것은 시간 척도였다. 조종은 아는 것과 실제로 손발을 움직이는 것이 다른 문제다. 그래서 기체를 실제로 붙잡고 있는 빠른 반사 계층과, 상황을 판단하는 느린 추론 계층을 나눴다. 목표는 에이전트가 시뮬레이터를 스스로 돌려 이륙·고도 유지·선회·착륙 기술을 밤사이 익히는 것이다. 실제로 마이크로소프트 플라이트 시뮬레이터에서 에이전트가 엔진을 걸고 비행하는 시연을 보였다.

주요 인사이트

• 대회 규칙이 센서를 제한하는 순간 문제의 성격이 달라진다. 라이다와 깊이 카메라가 있으면 표준 기법으로 풀리던 실내 위치 추정이, 단안 카메라와 특징 없는 배경에서는 완전히 다른 설계를 요구한다.
• 옛 알고리즘이 낡은 것이 아니라 제약이 달랐을 뿐이라는 관점이 반복된다. 그는 자원이 부족하던 시절에 만들어진 가벼운 기법이 탑재 컴퓨터가 빠듯한 로봇에서 다시 최적해가 된다고 봤다. 가벼운 기체를 오래 다뤄 온 팀이 강한 이유도 여기에 있다고 설명했다.
• 라이다는 모든 것을 감지하기 때문에 오히려 문제가 된다. 경사진 경주 트랙에서는 차량 기준으로 지면이 솟아오르는 것처럼 보이고, 그는 이것이 일부 차량에서 나타나는 갑작스러운 제동 현상의 원인일 수 있다고 추정했다.
• 제너럴리스트 로봇과 스페셜리스트 로봇의 차이는 허용되는 실패의 크기다. 집안일 로봇은 실수해도 다시 하면 되지만 비행기는 추락하면 끝이라, 같은 학습 기법을 그대로 옮길 수 없다.
• 휴머노이드 파일럿의 목표는 사람을 대체하는 것이 아니라 부기장 역할이다. 항공 사고 대응에서 승무원이 절차 매뉴얼을 찾아 읽는 시간을 로봇이 즉시 처리해 준다면 안전 여유가 늘어난다는 구상이다.

자주 묻는 질문

관련 AI 소식