안전 필터와 강화학습으로 자율 로봇의 안전을 보장하는 방법 — 프린스턴 연구 세미나 정리

핵심 메시지

• 다리를 인증할 때처럼, 자율 시스템도 '하루 사고 확률 100만분의 1' 같은 단일 숫자가 아니라 '어떤 조건에서 안전한가'를 명시하는 방식으로 인증해야 한다.
• 운영 설계 영역(ODD)은 시동을 걸어도 되는 상태, 환경이 부릴 수 있는 변덕의 범위, 절대 도달하면 안 되는 실패 상태 세 가지로 정의된다.
• 안전 필터는 폴백 정책·모니터·개입 규칙으로 이루어지며, 모니터가 보수적이고 개입이 건전하기만 하면 폴백 정책을 어떤 방법으로 만들었든 안전이 보장된다.
• 완벽한 안전 필터를 수치 계산으로 구하는 일은 차원이 늘면 사실상 불가능해지지만, 적대적 강화학습으로 폴백 정책을 학습하면 사족보행 로봇처럼 고차원 시스템에도 적용할 수 있다.
• 안전을 지키느라 성능을 포기할 필요는 없다. 필터가 켜진 환경에서 학습한 정책은 실패를 한 번도 겪지 않으면서 기존 방법보다 더 좋은 성능에 더 빨리 도달했다.

쉽게 이해하기

산업용 로봇이 사람을 다치게 하지 않는 가장 큰 이유는 정교한 알고리즘이 아니라 물리적인 울타리다. 작업 공간과 사람이 있어도 되는 공간을 아예 갈라놓고, 누군가 몰래 들어오면 센서가 감지해 로봇을 멈춘다. 문제는 로봇이 공장을 나와 도로와 거리로 나오면 그 울타리를 칠 수 없다는 점이다. 발표자는 아이가 갑자기 도로로 걸어 들어오거나 담장 뒤에서 자전거가 튀어나오는 장면을 예로 들며, 이제는 '무엇이 보이는가'가 아니라 '무엇이 있을 수 있는가'까지 따져야 한다고 지적했다.

그렇다면 불확실한 세상에서 안전을 어떻게 약속할 수 있을까. 발표자는 파리의 한 다리를 예로 들어 두 가지 인증 방식을 비교했다. 하나는 '제곱미터당 몇 킬로뉴턴의 하중, 초속 28미터의 돌풍, 중력가속도 20분의 1 수준의 지진이 동시에 와도 무너지지 않는다'처럼 조건을 명시하는 방식이고, 다른 하나는 '하루 붕괴 확률이 100만분의 1 미만'이라는 단일 숫자를 제시하는 방식이다. 실제 공학 규정이 채택한 쪽은 앞엣것이다. 확률 하나로 뭉뚱그리면 어떤 상황에서 무너지는지, 경계가 어디인지가 통째로 사라지기 때문이다.

이 발상을 자율 시스템에 옮긴 것이 운영 설계 영역이다. 시스템을 켜도 되는 초기 상태의 집합, 환경이 만들어낼 수 있는 실현의 범위, 그리고 절대 도달해서는 안 되는 실패 상태의 집합. 이 세 가지가 정해지면 안전 보장은 '허용된 상태에서 시동을 걸고 환경이 약속된 범위를 벗어나지 않는 한, 시스템은 영원히 실패 상태에 들어가지 않는다'는 문장으로 명확해진다. 흥미로운 점은 환경 가정을 넓게 잡아도 안전이 약해지지 않는다는 것이다. 대신 시스템이 더 많은 가능성을 감안해야 하므로 더 보수적으로 움직일 뿐이다.

이를 실제로 강제하는 장치가 안전 필터다. 임무를 수행하는 정책이 내놓은 행동을 바로 실행하지 않고, 그 행동을 취한 뒤에도 '최악의 경우 쓸 비상 계획'이 여전히 통하는지 검사한 다음 필요하면 덮어쓴다. 발표자 연구실은 지난 몇 년간 쏟아진 여러 안전 필터 기법을 훑어 공통 구조가 폴백 정책·모니터·개입 규칙 세 가지임을 정리하고, 모니터가 보수적으로 판정하고 개입이 건전하기만 하면 어떤 필터든 안전을 유지한다는 일반 정리를 세웠다. 이 정리에는 폴백 정책을 '어떻게 만들었는지'가 전혀 등장하지 않는다는 점이 핵심이다.

덕분에 합성과 검증을 분리할 수 있다. 이론적으로 완벽한 안전 필터는 해밀턴-야코비 도달-회피 분석 같은 수치 기법으로 구할 수 있지만, 상태 공간을 격자로 쪼개는 방식이라 차원이 늘수록 계산량이 폭발한다. 평면 위를 나는 드론 정도면 몇 시간에서 하루, 기가바이트 단위 메모리로 되지만, 3차원 비행체는 몇 주에서 몇 년에 테라바이트가 필요하고, 다중 로봇이나 사족보행·휴머노이드처럼 수십 차원이 되면 우주의 나이에 맞먹는 시간이 든다. 그래서 발표자는 안전 문제의 최적 제어 방정식을 시간 할인 형태로 바꿔 강화학습에, 불확실성까지 감안할 때는 적대적 강화학습에 그대로 태웠다.

주요 인사이트

• 안전 연구자의 일은 사회적 계약의 '내용'이 아니라 '구조'를 제공하는 것이다. 보행자가 어떻게 행동한다고 가정할지는 규제 기관과 사회가 정할 몫이고, 연구자는 그 가정이 주어졌을 때 시스템 행동을 조정하고 검증하는 틀을 만들어야 한다.
• 폴백 정책이 형편없어도 안전 자체는 깨지지 않는다. 모니터가 정직하게 '이 상태에서는 비상 계획이 안 통한다'고 알려주면, 개입 규칙이 그런 상태로 가지 못하게 막는다. 그 결과는 위험이 아니라 지나친 보수성으로 나타난다.
• 시뮬레이터에서 로봇과 적대자를 함께 학습시키는 방식은, 적대자가 학습 속도 면에서 적절히 분리돼 있을 때 국소 미니맥스로 수렴한다. 실제로 로프로 당겨도 넘어지지 않는 사족보행 로봇, 카메라 없이 관성 센서만으로 험한 지형을 지나는 로봇이 같은 방법으로 만들어졌다.
• '게임플레이 필터'는 학습된 최악 시나리오 하나만 굴려보고 판단하기 때문에 빠르지만, 신경망이 충분히 악랄하지 못하면 실제 최악을 놓칠 수 있다. 대신 개입할 때마다 '이 행동을 그냥 뒀다면 이렇게 됐다'는 재생 가능한 근거가 남아, 엔지니어가 사후에 따져볼 수 있다는 장점이 있다.
• 안전 임계 의사결정 문제로 정식화하면 '안전세'는 존재하지 않는다. 필터를 켠 환경에서 학습한 정책이 벤치마크에서 총 보상 16.4를 기록해 기존 방식의 3.0(훨씬 오래 학습해도 13)을 크게 앞섰고, 배치는 물론 학습 과정 내내 치명적 실패가 0회였다. 충돌하고 재시작하느라 시간을 버리지 않은 것이 오히려 학습을 앞당겼다.

자주 묻는 질문

관련 AI 소식