AI 위험을 보험으로 가격 매기기: 안전을 기업의 수익 인센티브와 연결하는 접근법

핵심 메시지

• AI를 배포하는 기업들이 안전을 최우선으로 두지 않는 근본 이유는 안전이 이익과 직접 연결되어 있지 않기 때문이라는 진단에서 출발한다.
• 위험에 실제 금액이 매겨지면 '어떻게 보험료를 낮출 것인가'라는 질문이 따라오고, 그 답이 곧 가드레일 같은 위험 완화 조치 도입으로 이어진다.
• 가장 어려운 부분은 사고가 얼마나 자주 일어나는지 아무도 모른다는 점이다. 보험사도 배포 기업도 그 확률을 알지 못한다.
• 보험업은 수백 년간 과거 빈도를 세는 방식으로 작동했지만, 발전 속도가 빠른 AI에서는 10년치 데이터를 모을 수도 없고 모아도 미래와 다르다.
• 증기 보일러 표준화는 보험업이 시장의 힘으로 기술 안전을 끌어올린 역사적 선례지만, 보일러는 느리게 변하고 AI는 그렇지 않다는 단서가 붙는다.

쉽게 이해하기

블루닷 임팩트의 이 대담에는 뱅크오브아메리카에서 같은 팀 퀀트로 일하다 함께 창업한 두 사람이 나온다. 다니엘은 헝가리 부다페스트에서 자라 영국에서 응용수학을 공부한 뒤 뱅크오브아메리카에 들어갔고, 이후 회사를 나와 골수 동역학을 연구하는 대학 연구실에서 1년을 보냈다. 루카는 이탈리아에서 물리학을 공부하고 제네바의 입자물리 실험에 참여했으며, 이후 같은 은행으로 옮겨 4년 반을 일했다. 두 사람은 AI 위험을 가격으로 매기는 회사 엑소나 랩스를 만들고 있다.

이들이 잡은 문제의식은 단순하다. AI를 배포하는 쪽이 안전을 주된 고려사항으로 삼지 않는 이유는, 안전이 이익과 곧바로 연결되지 않기 때문이다. 보험은 이 연결고리를 만들 수 있다. 어떤 기업이 AI 서비스의 책임 위험을 보험으로 넘기려 하면, 그 순간 '이 위험이 얼마나 큰가'라는 대화가 시작된다. 그리고 보험사는 자기 손실을 줄이기 위해 위험 완화 조치를 요구할 유인을 갖게 된다.

대담에서는 어린이도 쓰는 앱에 챗봇을 넣으려는 기업을 예로 든다. 그 기업이 생각하는 위험 확률과 보험사가 매기는 확률이 다를 수 있는데, 두 사람은 이 불일치 자체가 이미 유용하다고 말한다. 시스템의 위험이 투명해지기 때문이다. 그다음 단계는 보험료를 낮추는 방법이고, 보험사가 가드레일 같은 완화 수단을 제안하면 결과적으로 최종 이용자의 피해가 줄어든다는 것이 이들의 논리다.

가장 큰 난관은 확률 자체를 아무도 모른다는 사실이다. 보험사도, 서비스를 배포하는 기업도 이런 사건의 빈도를 알지 못한다. 보험업계에서는 '사일런트 AI'라는 말을 쓰는데, 일부 사이버 보험 약관이 특정 AI 위험을 사실상 담보하고 있을 수 있지만 그 범위를 식별하고 정량화하기가 매우 어렵다는 뜻이다. 게다가 보험업의 전통적 방식인 과거 빈도 집계는 AI에 잘 맞지 않는다. 10년치 데이터를 모을 시간이 없을뿐더러, 모은다 해도 다음 10년의 데이터는 완전히 다를 것이기 때문이다.

두 사람이 드는 역사적 선례는 증기 보일러다. 증기기관 발명 이후 가정에 설치된 보일러가 폭발해 사람이 죽는 일이 잦았는데, 보일러 기술을 표준화하고 인증을 통과한 제품만 인수하겠다고 나선 것은 규제가 아니라 보험사였다. 다만 두 사람은 보일러는 느리게 변하는 기술이고 AI는 빠르게 움직이는 산업이라는 단서를 분명히 단다. 더 먼 미래로는 자연재해 보험처럼 대재해채권과 재보험 시장으로 위험을 분산하는 방향까지 상상하지만, 그전에 건강한 일반 보험시장이 먼저 자리 잡아야 한다고 본다.

주요 인사이트

• AI 안전 담론이 정렬 연구나 해석가능성, 정부 규제 쪽으로 쏠려 있는 것과 달리, 이들은 보험이 훨씬 빠르게 배포 관행을 바꿀 수 있다는 가설에 걸었다. 규제는 입법을 기다려야 하지만 보험료는 계약을 갱신할 때마다 작동한다.
• 위험 평가(evals)는 이미 AI 안전 커뮤니티 어디서나 하는 일이지만, 보험 인수자가 가격을 매기는 데 쓸 목적으로 하는 곳은 없다는 지적이 이들의 시장 진입 논리다.
• 두 창업자의 이력은 이 문제와 잘 맞물린다. 이들이 은행에서 다루던 거래상대방 부도는 사례가 극히 드물어 가격을 매기기 어려운 위험이었고, 정확한 금액보다 손실의 자릿수를 파악하는 훈련을 받아왔다.
• 루카는 입자물리학이 오히려 AI로 가득한 분야라고 말한다. 방대한 배경 잡음 속에서 미세한 신호를 찾아내는 실험 특성상 패턴 인식 신경망이 2000년대 초부터 쓰였다는 것이다.
• '인류가 이 기술을 받아들일 준비가 되었다고 보나'라는 질문에 두 사람이 '노 코멘트'로 답한 장면은, 위험을 정량화하려는 사람들조차 총량에 대해서는 확신하지 못한다는 사실을 보여준다.

자주 묻는 질문

관련 AI 소식