AI 리스크 모델링이란 무엇인가: 벤치마크 평가와 실제 피해 추정 사이의 간극 메우기

핵심 메시지

• AI 평가(evaluation)는 능력을 재는 추상적 시험일 뿐 실제 피해의 불완전한 대리 지표이며, 그 간극을 메우는 작업이 리스크 모델링이라고 설명한다.
• 유럽 실천규약이 요구하는 위험 평가 절차에서 모델 평가는 다섯 단계 중 하나일 뿐이고, 나머지는 평가와 직접 관련이 없는 작업이라는 점이 근거로 제시됐다.
• 정량적 접근은 위험을 공격 시도 가능한 행위자 수, 행위자당 시도 횟수, 시도의 성공 확률, 성공 시 영향이라는 네 요인으로 분해한다.
• 숫자로 만들면 총량뿐 아니라 위험이 어디서 오는지 기여도를 나눠 볼 수 있고, 규제 임계선과도 연결할 수 있다는 장점이 있다.
• 이 분야는 아직 교과서도 정해진 경로도 없는 초기 단계이며, 진지하게 매달리는 사람이 극소수라는 점이 반복해서 강조됐다.

쉽게 이해하기

발표는 유럽에 기반을 둔 비영리 단체 세이퍼AI(SaferAI)의 활동 소개로 시작한다. 파리와 런던에 사무실을 두고 14명이 일하며, 리스크 모델링 연구, 표준, 프런티어 AI 리스크 관리, 정책이라는 네 갈래로 움직인다. 이들은 항공이나 원자력 같은 고위험 산업의 위험 관리 관행을 먼저 살펴본 뒤, AI 기업들이 공개한 십여 개의 안전 프레임워크를 분석해 리스크 모델링을 가장 큰 공백으로 지목했다.

표준 작업을 중시하는 이유도 설명됐다. 표준은 초안 단계부터 산업계 전문가가 참여하는 합의 기반 절차라서 기업들이 자발적으로 채택하는 경우가 많고, 미국 기업과 중국 기업이 함께 앉는 몇 안 되는 국제 무대라는 점에서 법률보다 넓게 작동한다는 것이다. 다만 합의 절차이기 때문에 한 참여자가 마음먹으면 진행을 어렵게 만들 수 있고, 표준 작업이 무보수라 자금 여력이 있는 쪽에 유리하게 기운다는 한계도 함께 언급됐다.

후반부는 리스크 모델링의 실제 방법론으로 넘어간다. 발표자는 접근법을 순수 정성적, 준정량적, 완전 정량적 세 가지로 나눈다. '높음·심각' 같은 등급을 매기는 준정량적 방식의 문제는 사람마다 그 단어의 뜻이 다르다는 점인데, 정보기관 분석가들이 '심각'이라고 보고한 확률을 실제로 물어보니 20%에서 80%까지 흩어져 있었다는 일화가 예로 제시됐다.

정량적 모델링은 위험을 네 요인으로 쪼갠 뒤 다시 합친다. 앞의 두 요인은 AI가 바닥을 얼마나 끌어올리는지를 본다. 스피어피싱처럼 원래 누구나 시도할 수 있지만 품이 많이 들던 공격이 대량의 정보를 정리해 주는 모델 덕분에 쉬워지는 경우다. 뒤의 두 요인은 천장을 얼마나 올리는지를 본다. 이미 공격하던 행위자가 더 나은 도구와 전문 지식을 얻어 성공률과 피해 규모를 키우는 경우다.

확률 추정은 실제 데이터를 모아 전문가 유도(expert elicitation) 절차로 수치화한다. 항공이나 원자력에서 확립된 방법이지만 비용과 시간이 많이 들어, 이 단체는 대형 언어 모델을 예측자로 쓰는 실험도 병행하고 있다. 예측 벤치마크의 중앙값 전망이 발표 시점 기준 약 12개월 뒤 모델이 인간 슈퍼 예측자 수준에 도달하는 것으로 나와, 그 세계를 미리 준비한다는 설명이다.

주요 인사이트

• '평가 점수가 오르면 위험도 그만큼 안다'는 통념을 정면으로 흔드는 발표다. 벤치마크가 포화해 60%에서 80%, 98%로 올라가면 오히려 실제 위험에 대한 정보를 잃는다는 지적은 평가 중심 담론의 맹점을 보여준다.
• 절대 수치보다 기준선 대비 상승분을 중시하는 태도가 실용적이다. 규제 당국에 연간 피해액 절대값을 들이미는 것보다, AI가 없을 때와 비교해 얼마나 늘었고 그중 어느 단계가 얼마를 차지하는지 보여주는 편이 판단에 쓸모 있기 때문이다.
• 다른 산업의 방법론을 그대로 옮길 수 없다는 자기 진단도 솔직하다. 원자력 발전소는 시간이 지난다고 스스로 더 위험해지거나 통제를 벗어나려 하지 않지만 AI는 그럴 수 있다는 비유는 이 분야가 왜 새 방법을 필요로 하는지 압축해 보여준다.
• 연구를 논문으로 끝내지 않고 정부와 함께 적용하는 방식을 택한 점, 그리고 아홉 개 사이버 위험 모델의 분해 과정과 추정 근거를 웹사이트에 공개한 점은 검증 가능성을 높이는 시도다.
• 진입 장벽에 대한 조언도 눈에 띈다. 리스크 모델링에는 정해진 학위나 교과서가 없어 형식적 배경보다 사고력과 사실을 연결하는 능력이 더 중요하다는 것이, 이 분야가 아직 초기임을 역설적으로 보여준다.

자주 묻는 질문

관련 AI 소식