강화학습이 현장에 못 쓰이는 이유와 해법, MIT 캐시 우 교수의 교통 최적화 강연

핵심 메시지

• 차량 경로 문제처럼 변형이 끝없이 파생되는 '롱테일' 최적화에서는 solver 하나를 만드는 데 수년에서 수십 년이 걸린다.
• 솔트레이크시티 교차로 164곳을 모사한 벤치마크에서 강화학습 기법들은 학습 없이 몇 초면 끝나는 고정 시간 제어의 평균 성능조차 넘지 못했다.
• 막대와 수레 균형 같은 고전 과제도 막대 길이와 질량을 조금씩 바꾸면 표준 라이브러리가 풀지 못해, 문제는 교통이 아니라 과제 변형에 대한 취약성이었다.
• 충분히 비슷한 과제끼리는 정책을 옮겨 쓰는 편이 새로 학습하는 것보다 성능 저하가 적다는 통찰로, 학습할 지점을 골라 모델 수를 10~30배 줄였다.
• 기존 solver가 매 반복마다 거의 바뀌지 않는 부분을 다시 계산한다는 낭비를 학습으로 예측해 고정하면, 조합 최적화 속도를 2~10배 끌어올릴 수 있다.

쉽게 이해하기

버클리 EMBER 세미나에 초청된 MIT 캐시 우 교수는 자신을 교통 전문가들에게 현대적 계산 도구를 쥐여 주려는 사람이라고 소개한다. 강연의 출발점은 택배와 승차 호출, 쓰레기 수거까지 아우르는 차량 경로 문제다. 이 문제는 하나가 아니라 가족이다. 차량 적재 한도, 배송 시간대, 서로 다른 차종, 여러 물류 거점, 최근에는 전기차 충전과 드론까지 조건이 붙을 때마다 새로운 난제가 파생된다.

문제는 이 파생이 끝나지 않는데 solver 개발은 느리다는 점이다. 강연자는 지난 20여 년의 solver 발전을 연표로 보여 주며, 조건 하나가 더 붙은 문제를 풀려면 10년을 기다려야 했던 상황을 짚는다. 최적화 문제는 정의만 되면 완벽한 시뮬레이터가 딸려 오므로 강화학습에 알맞아 보였지만, 10년이 지나도록 규모 있게 쓰이지 못했다. 그렇다면 AI가 이 곡선을 꺾을 수 있느냐가 강연의 질문이다.

우 교수는 부임 초 2년 동안 열 건 남짓한 강화학습 응용이 잇달아 실패한 경험을 솔직하게 털어놓는다. 교차로 하나를 둘로 늘리거나 보행자와 응급차를 추가하는 정도의 변화였는데도 학습이 되지 않았고, 유타주 교통국과 함께 솔트레이크시티의 교차로 164곳을 모사해 재평가하자 어떤 강화학습 기법도 학습이 필요 없는 고정 시간 제어의 평균 성능을 넘지 못했다. 교통이 유난히 어려운 것인지 확인하려고 막대와 수레의 균형을 잡는 고전 과제로 옮겨 길이와 질량을 조금씩 바꿔 보아도, 표준 구현들은 변형된 과제를 고르게 풀어내지 못했다. 결론은 심층 강화학습이 과제 변형에 매우 민감하다는 것이고, 현실 응용에는 그 변형이 어디에나 있다.

해법은 두 갈래로 제시된다. 하나는 맥락에 따라 달라지는 과제 가족을 하나의 문제로 보고, 충분히 비슷한 과제라면 정책을 그대로 옮겨 쓰는 편이 새로 학습하는 것보다 성능 저하가 완만하다는 통찰을 이용하는 것이다. 어디에서 학습할지 고르는 방식으로 같은 성능을 10~30배 적은 모델 수로 달성했다. 다른 하나는 잘 작동하는 기존 solver를 학습과 결합하는 것이다. 반복 사이에 99% 넘게 바뀌지 않는 해의 부분을 예측해 고정하면 계산을 아낄 수 있고, 일정 계획 문제에서 약 50%, 대규모 차량 경로에서는 구간을 하나의 노드로 압축해 7배까지 빨라졌다.

마지막은 응용이다. 신호등 정보를 받아 운전자에게 권장 속도를 알려 주는 친환경 주행 기능을 100만 개 교차로 시나리오로 평가했더니 이산화탄소 배출이 11~22% 줄어드는 것으로 나타났다. 앞차가 이 기능을 쓰면 뒤따르는 차들도 자연히 혜택을 보기 때문에, 소수의 차량과 소수의 교차로가 효과의 대부분을 만든다. 전기차 보급 전망과 비교해도 2050년까지 상호 보완적이라는 것이 결론이다. 창고 로봇의 우선순위를 강화학습으로 정하고 경로 계획은 30년 된 고전 알고리즘에 맡기는 방식으로 처리량을 20% 올린 사례도 소개된다.

주요 인사이트

• 실패한 실험을 공개해 원인을 좁혀 가는 전개가 이 강연의 핵심이다. 성공 사례만 모으면 강화학습이 왜 현장에서 잘 안 보이는지는 영영 설명되지 않는다.
• 벤치마크의 평균값 뒤에 숨은 분포를 봐야 한다는 교훈도 분명하다. 일부 시나리오에서 이기고도 실패 사례 때문에 평균이 뒤집히는 구조는 평균만 보고는 알 수 없다.
• 학습을 붙이기 전에 먼저 따져 보는 진단이 인상적이다. 좋은 휴리스틱이 이미 있거나 완벽한 예측을 해도 이득이 크지 않다면 학습은 정당화되지 않는다는 기준을 제시한다.
• 최적화 solver의 반복 사이 낭비를 학습 문제로 재정의한 발상이 실용적이다. 무엇이 바뀔지 예측하는 이진 분류만으로도 큰 속도 향상이 나온다.
• 교통 연구 논문 중 코드를 공개한 비율이 5%, 데이터를 공개한 비율이 4%에 그친다는 조사 결과는, 이 분야에서 후속 연구가 매번 바닥부터 다시 시작하는 이유를 설명한다.

자주 묻는 질문

관련 AI 소식