신뢰할 수 있는 자율주행·로봇 안전: 스탠퍼드 세미나의 의미론적 이상 탐지와 데이터 개선

핵심 메시지

• 로봇은 실험실 시연을 넘어 실제 도로로 확산 중이며, 웨이모는 미국에서 주당 약 50만 건의 주행을 수행한다.
• 학습 기반 시스템은 학습 데이터에 없던 상황(분포 밖 입력)에서 취약하며, 광고판 속 표지판을 실제로 오인하는 등의 오류를 낸다.
• 작고 빠른 임베딩 모델로 이상을 탐지하고, 크고 느린 언어 모델로 대응을 판단하는 '빠른·느린' 이중 추론 구조를 제안한다.
• 학습 데이터가 성능에 미친 영향을 역추적해 나쁜 데이터를 걸러내면, 더 적은 데이터로도 성공률을 40%에서 90%로 끌어올릴 수 있었다.

쉽게 이해하기

발표자는 로보틱스가 큰 전환기를 맞고 있다고 진단한다. 약 10년 전만 해도 로봇은 통제된 환경에서 정해진 동작만 반복했지만, 지금은 실제 세계로 대규모 확산되고 있다. 웨이모가 미국에서 주당 약 50만 건의 주행을 소화한다는 점이 그 예다. 이런 진전은 대체로 학습 알고리즘의 발전, 그리고 복잡한 센서 정보를 해석하는 학습 요소를 시스템 전반에 통합한 데서 비롯됐다.

그러나 규모 확대는 안전 위험도 함께 키운다. 자율주행차가 비 오는 날 침수 구역으로 그대로 진입하거나, 노을을 신호등으로, 광고판에 그려진 정지 표지판을 진짜 표지판으로 착각하는 사례가 있다. 이런 오류의 근본 원인은 '분포 밖 입력'이다. 모델은 학습 데이터만큼만 똑똑하며, 드문 롱테일 상황이나 낮에만 학습하고 밤에 배치되는 것 같은 분포 변화, 그리고 진짜 인과가 아닌 허위 상관을 학습한 탓에 실제 현장에서 무너진다.

발표자는 이런 문제를 '의미론적 안전(semantic safety)'이라는 개념으로 다룬다. 광고판 속 표지판처럼 시각적으로는 전혀 새롭지 않고 모델이 확신까지 하지만, 장면의 맥락 때문에 시스템 차원에서 혼란이 생기는 경우다. 기존의 시각적 신규성 기반 이상 탐지로는 잡기 어렵다. 그래서 인터넷 규모로 사전학습된 대형 언어 모델의 상식 추론 능력을 활용해 장면 맥락을 통째로 판단하자는 것이 핵심 아이디어다.

문제는 대형 언어 모델이 토큰을 하나씩 생성하느라 너무 느리다는 점이다. 이를 해결하기 위해 두 단계 추론 구조를 쓴다. 1단계는 모델 내부에서 뽑아낸 임베딩 벡터로 현재 관측이 과거 경험과 비슷한지(정상)·다른지(이상)를 빠르게 비교한다. MPNet, BERT 같은 약 1억 파라미터의 작은 모델도 엔비디아 젯슨에서 40헤르츠로 높은 정확도를 낸다. 이상이 감지되면 2단계로 넘어가 대형 모델의 긴 사고 사슬로 어떤 안전 개입을 할지 판단한다. 이때 '복구 집합'(착륙 가능 지점 등)을 선택지로 제시하고, 모델이 답하는 시간 동안에도 대안 경로가 유효하도록 모델 예측 제어(MPC)로 설계해 안전을 보장한다.

발표 후반부는 관측을 곧바로 행동으로 바꾸는 종단간(end-to-end) 정책을 데이터로 개선하는 방법을 다룬다. 이런 블랙박스 모델은 실패해도 원인을 조정할 제어 논리가 없다. 발표자는 통계학의 '영향 함수'를 활용해 특정 학습 데이터가 정책 성능에 준 영향을 역추적한다. 이렇게 저품질 데이터를 걸러내고 좋은 데이터만 추가하는 데이터 플라이휠 알고리즘('큐피드')으로, 어떤 과제에서는 원래 표본의 3분의 2를 덜어내고도 성공률을 40%에서 90%로 끌어올렸다.

주요 인사이트

• 안전의 초점을 '항상 완벽한 모델'이 아니라 '자신의 한계를 알고 안전하게 회복하는 신뢰할 수 있는 시스템'으로 옮긴 점이 핵심이다.
• 이상 탐지는 작은 모델로도 충분히 잘 되지만, 그 이상이 실제로 위험한지 판단하려면 큰 모델의 추론이 필요하다 — 역할이 다르다.
• 언어 모델을 기존 동작에 간섭하지 않는 '가산적' 방식으로 얹으면, 오탐이 나도 시스템을 더 보수적으로 만들 뿐 새로운 위험을 만들지 않는다.
• 모델 성능은 데이터 품질에 좌우되며, 사람이 직관적으로 '좋은 데이터'라 여기는 기준은 실제 학습에 도움이 되는지와 어긋날 수 있다.

자주 묻는 질문

관련 AI 소식