AI 안전성 검증 방법 4가지: 실패 분석·형식 보증·설명·런타임 감시로 쌓는 안전 논거

핵심 메시지

• 안전성 검증에 은탄환은 없다. 실패 분석·형식적 보증·설명·런타임 감시는 각각 구멍이 있으므로, 스위스 치즈를 겹치듯 여러 층을 쌓아 안전 논거를 만들어야 한다.
• 항공 충돌 회피처럼 실패 확률이 백만분의 1 수준인 시스템은 단순 시뮬레이션 반복으로 확률을 추정할 수 없어, 중요도 샘플링으로 가상 환경 결과에 가중치를 다시 매긴다.
• 형식적 보증은 가정 아래에서만 성립하며 내부 구조를 알아야 하고 계산 비용이 크지만, 신경망 검증 기술이 발전하며 적용 범위가 넓어지고 있다.
• 설명 기법은 모델이 그림자를 '보는' 것과 판단에 '쓰는' 것을 구분해 준다. 활주로 사례에서 모델은 그림자를 인식하되 위치 판단에는 가장자리 선을 주로 사용했다.
• 오프라인 검증은 반드시 빠뜨리는 상황이 생기므로, 학습·검증 범위를 벗어난 상황을 실시간으로 감지해 안전 모드나 원격 조작으로 넘기는 런타임 감시가 마지막 층이 된다.

쉽게 이해하기

발표자인 시드니 카츠는 스탠퍼드 지능형 시스템 연구실의 박사후연구원으로, 안전이 중요한 의사결정 시스템의 설계와 검증을 연구한다. 그가 말하는 복잡한 의사결정 시스템에는 자율주행차, 자율 항공기, 금융 판단 시스템이 들어가며 AI도 그 한 갈래다. 의료·항공·주행처럼 실패가 재산이나 생명의 손실로 이어지는 영역에서는 배포 전 검증에 상당한 노력이 필요하다는 것이 출발점이다.

검증 알고리즘에는 검사 대상인 시스템과, 무엇을 해야 하고 하지 말아야 하는지를 적은 명세가 입력으로 들어간다. 자율주행차라면 '다른 차량과 충돌하지 않는다' 같은 문장이 명세가 된다. 그 결과로 얻는 것은 실패 시나리오, 형식적 보증, 설명, 런타임 감시 네 가지이며, 각각의 한계가 서로 다르기 때문에 겹쳐 쌓을 때 비로소 빈틈이 막힌다.

첫 번째 실패 분석의 어려움은 희귀 사건에 있다. 60번 시뮬레이션해 두 번 근접 충돌이 나오면 확률이 3.3%로 계산되지만, 실제 항공 시스템의 목표치는 백만분의 1이나 십억분의 1 수준이라 그만한 실패를 관측하려면 수백만~수십억 번의 시뮬레이션이 필요하다. 그래서 실패가 자주 일어나도록 만든 가상 환경에서 시뮬레이션한 뒤, 각 궤적이 현실에서 얼마나 일어날 법한지에 따라 가중치를 다시 매겨 편향 없는 추정치를 얻는다.

두 번째 형식적 보증은 조종사 반응 속도나 센서 오차에 경계를 두고 도달 가능한 상태의 집합을 계산해, 그 안에 충돌이 없음을 증명하는 방식이다. 발표자는 사각형 영역을 오른쪽으로 둘, 위로 하나 옮기는 암산 예시로 원리를 설명한 뒤, 신경망도 결국 수식이므로 같은 방식으로 입력 집합에 대응하는 출력 집합을 구할 수 있다고 말한다. 다만 가정이 강해야 하고, 내부를 알아야 하며, 규모가 커질수록 계산이 급격히 무거워진다.

세 번째 설명 기법에서 인상적인 사례는 활주로 사진이다. 그림자가 드리운 영상에서 모델이 주목한 상위 아홉 개 특징 중 여덟 개가 그림자로 보였지만, '위치를 판단하는 데 무엇을 쓰는가'로 질문을 바꾸자 실제로는 가장자리 선에 무게가 실려 있었다. 마지막 층인 런타임 감시는 소화전이 터져 물기둥이 솟은 도로나, 달이 노란 신호등처럼 보여 차가 계속 감속한 사례처럼 오프라인 모델링으로는 떠올리기 어려운 상황을 실시간으로 잡아 원격 조작이나 안전 모드로 넘긴다. 질의응답에서는 명세의 완전성을 보장할 완벽한 방법은 없으니 가능한 많은 명세를 세우고 민감도를 확인하라는 답과, 검증을 언제 끝낼지는 결국 규제와 도메인 전문가의 판단이라는 답이 이어졌다.

주요 인사이트

• 핵심 메시지는 기술 목록이 아니라 태도에 있다. 어떤 단일 기법도 배포 승인의 근거가 될 수 없고, 서로 다른 한계를 가진 기법을 쌓아 안전 논거를 구성해야 한다는 것이다.
• 실패 분석 기법 상당수가 블랙박스라는 점은 실무적으로 중요하다. 내부 구조를 몰라도 시뮬레이터를 호출할 수만 있으면 규칙 기반 시스템이든 신경망이든 같은 도구를 쓸 수 있다.
• 검증에 쓰는 모델 자체도 검증 대상이다. 충돌 회피 사례에서는 미국 본토 대부분을 아우르는 9개월치 레이더 데이터로 항공기 접근 모델을 만들고, 그 모델이 현실과 맞는지를 따로 확인했다.
• 대규모 언어 모델에서는 형식 검증의 난점이 규모보다 명세에 있다. '혐오 표현을 하지 않는다' 같은 요구를 수학적으로 적어 내려가는 일 자체가 어렵다는 지적이다.
• 안전 논거는 한 번 만들고 끝나는 절차가 아니라 설계와 검증을 오가는 순환 과정이며, 규제 기관과 사용자를 포함한 이해관계자와의 소통이 그 일부라는 점도 강조된다.

자주 묻는 질문

관련 AI 소식