뉴럴 인증서로 안전한 로봇 제어: 그래프 제어 배리어 함수와 시간 논리 계획 강연 정리

핵심 메시지

• 제어 배리어 함수는 시스템 방정식을 직접 풀지 않고도 안전을 보장해 주지만, 비선형·고차원 시스템에서는 사람이 손으로 만들기가 매우 어렵다.
• GCBF는 로봇과 센서에 잡힌 장애물을 노드로 보는 그래프 위에서 배리어 함수와 제어 정책을 그래프 신경망으로 함께 학습한다.
• 이웃 수를 유한하게 제한하고 감지 범위 밖 에이전트에 대한 기울기를 0으로 강제하면, 8대로 학습한 정책을 수천 대 규모로 확장해 쓸 수 있다.
• 강화학습과 결합할 때는 안전을 벌점이 아니라 경사 투영으로 처리해, 성능과 안전을 맞바꾸는 가중치 조정 문제에서 벗어난다.
• 학습된 인증서는 형식 검증 수준의 보장을 주지는 못한다는 점을 발표자 스스로 가장 큰 한계로 밝힌다.

쉽게 이해하기

카네기멜런대 로보틱스 연구소 세미나에 선 MIT 항공우주공학과 추추 판 교수의 주제는 '뉴럴 인증서(neural certificates)', 곧 제어 이론이 수십 년간 다듬어 온 엄밀한 수학을 기계학습 과정 안에 녹여 학습된 정책이 무엇을 보장하는지 말할 수 있게 만드는 작업이다. 출발점인 제어 배리어 함수는 상태를 받아 스칼라를 내놓는 함수로, 안전한 상태에서는 양수, 위험한 상태에서는 음수가 되도록 설계된다. 이 함수의 장점은 시스템 동역학을 직접 풀지 않고 부등식 조건만으로 안전을 보장하면서 허용 가능한 입력 범위까지 알려 준다는 데 있다. 문제는 비선형 동역학, 카메라나 라이다 같은 고차원 입력, 부정확하거나 아예 모르는 모델, 구동기의 입력 제약이 끼어드는 현실 시스템에서는 이 함수를 손으로 만들기가 사실상 불가능하다는 점이다.

판 교수 팀의 답은 그래프 제어 배리어 함수(GCBF)다. 다중 에이전트 시스템을 자연스럽게 그래프로 보고, 노드는 에이전트와 라이다에 찍힌 장애물 점으로, 간선은 감지 가능 여부로 정의한다. 로봇의 감지 반경과 다른 에이전트가 차지하는 공간을 고려하면 한 에이전트가 신경 써야 할 이웃 수에 상한이 생기고, 감지 범위 밖 에이전트에 대한 기울기를 0으로 강제하면 국소 관측만으로 전역 안전을 증명할 수 있다. 이 조건은 그래프 어텐션 계층으로 자연스럽게 구현되며, 어텐션 가중치가 거리에 따라 줄어드는 그림은 제어기가 왜 그렇게 움직였는지 설명해 주기도 한다.

덕분에 여덟 대로 학습한 정책을 같은 동역학이라면 훨씬 많은 대수로 확장해 쓸 수 있고, 장애물 모델 없이 라이다 접촉점만으로 학습하므로 시뮬레이션에서 배운 정책을 실제 하드웨어에 그대로 옮길 수 있었다. 강연에서는 사람이 조종하는 방해 로봇이 끼어드는 상황이나, 움직이는 대상을 드론 두 대가 시야가 가릴 때마다 번갈아 감시하는 실험 영상이 소개된다. 다만 환경 밀도를 계속 높이면 안전율은 유지되더라도 목적지 도달률이 떨어진다는 점도 함께 짚는다.

다음 단계는 안전을 목표 성능과 함께 최적화하는 문제다. 보통은 라그랑주 쌍대를 써서 안전 제약을 소프트 제약으로 바꾸는데, 그러면 벌점 가중치를 어떻게 잡느냐에 따라 안전만 챙기고 아무것도 못 하거나 반대로 제약을 무시하는 결과가 나온다. 팀은 무한 구간에서 안전 함수의 최솟값을 취한 제약 가치 함수가 그 자체로 유효한 배리어 함수가 됨을 증명하고, 이를 필터 삼아 정책 경사를 투영하는 DGPPO를 제안했다. 안전을 하드 제약으로 유지하면서 그 안에서 최적 성능을 찾는 구조다.

강연 후반부는 더 높은 층위인 계획으로 올라간다. 신호 시간 논리(STL)는 '문을 열려면 먼저 맞는 열쇠를 찾아야 한다' 같은 논리적 선후 관계와 시간 제약을 수식으로 표현하며, 만족 정도를 하나의 값으로 주는 강건성 점수가 배리어 함수와 같은 역할을 한다. 팀은 STL 수식을 그래프로 인코딩해 그래프 신경망으로 임베딩한 뒤 플로 매칭으로 궤적을 생성하도록 했고, 20만 개의 다양한 사양과 해법 궤적을 모아 학습시켜 고전적 솔버 대비 100배 이상의 속도 향상을 보고했다.

주요 인사이트

• 안전을 벌점으로 다루면 성능과 경쟁 관계가 되지만, 배리어 함수를 경사 투영의 필터로 쓰면 하드 제약으로 유지된다. 안전을 목적함수 항목이 아니라 학습 경로의 제약으로 바꾼 발상이다.
• 국소 관측만 쓰면서 전역 안전을 주장하려면 '감지 범위 밖은 보지 않는다'를 수학적으로 강제해야 한다. 어텐션 가중치가 거리에 따라 0으로 수렴하는 그림이 그 조건의 시각적 증거로 제시된다.
• 동역학 모델이 없어도 결정론적 롤아웃으로 제약 가치 함수를 계산하면 배리어 함수를 얻을 수 있다. 대신 확률적 롤아웃과 결정론적 롤아웃을 모두 모아야 해 샘플 비용이 늘어난다.
• 학습된 정책에는 배리어 함수가 안전 필터가 아니라 학습을 이끄는 안내자로만 쓰인다. 배리어 함수를 실행 시점 필터로 쓰면 이차 계획법이 해를 못 찾는 상황이 생길 수 있다는 점을 질의응답에서 인정한다.
• 발표자는 형식 검증 전공자였으나 이 계열 시스템의 정확한 검증이 계산적으로 다루기 어렵다는 점을 들어, 확장성과 검증 가능성을 함께 얻을 하이브리드 접근이 앞으로 필요하다고 말한다.

자주 묻는 질문

관련 AI 소식