AI VIDEO BRIEFING
AI 위험 우선순위 전문가 조사 — 사이버공격·권력집중·허위정보가 5년 내 최대 위협
MIT 연구팀이 국제 AI 전문가 270여 명을 상대로 3라운드 델파이 조사를 진행했다. 향후 5년간 가장 심각한 위험은 무엇인지, 어떤 산업이 가장 취약한지, 그리고 책임과 피해가 서로 어긋나 있는 구조를 정리했다.
핵심 메시지
- 전문가들은 향후 5년간 가장 심각한 위험으로 위험한 능력의 오남용, 기업·국가 간 경쟁 압력, 무기화와 사이버공격, 권력 집중, 허위정보 확산을 꼽았다.
- 대부분의 위험 영역이 5년 내 파국적 결과가 발생할 확률을 10% 이상으로 평가받았고, 현실적인 완화책을 가정해도 상위 위험은 그 수치가 좀처럼 내려가지 않았다.
- 가장 취약한 부문으로는 정보, 금융, 국가안보가 지목됐으며 취약성은 부문별로 고르게 분포하지 않았다.
- 책임은 범용 AI 개발자와 거버넌스 주체에게 있다고 봤지만, 정작 가장 취약한 쪽은 책임이 가장 적은 일반 이해관계자였다.
- 책임과 취약성이 어긋나 있으면 실수 비용을 치르지 않는 쪽이 위험 관리에 과소 투자하게 되는 구조적 문제가 생긴다.
쉽게 이해하기
MIT 퓨처테크의 AI 위험 이니셔티브를 이끄는 알렉산더 세리는 호주에서 열린 AI 안전 포럼에서 'AI의 최대 위험은 무엇인가'라는 질문에 대한 조사 결과를 발표했다. 이 조직은 경영대학원과 컴퓨터과학·AI 학부가 함께 만든 조직으로, 의사결정자가 AI 위험의 우선순위를 정하고 관리하도록 돕는 것을 목표로 한다.
연구팀은 2024년 초부터 70편이 넘는 기존 문헌을 종합해 위험 데이터베이스와 분류 체계를 만들었다. 재난급 위험만 다루거나 금융·의료처럼 특정 부문만 다루는 기존 틀로는 전체를 포괄하지 못한다고 판단했기 때문이다. 다만 위험 목록이 길어질수록 한정된 자원과 정치적 자본을 어디에 쓸지 판단하기 어려워진다는 문제가 남았다.
그래서 연구팀은 세 가지 렌즈로 우선순위를 나눠 물었다. 일어나면 얼마나 나쁜가(심각성), 일어나면 누가 가장 크게 다치는가(취약성), 누가 막을 책임을 져야 하는가(책임)다. 방법으로는 270명이 넘는 국제 전문가를 모아 3라운드 델파이 조사를 진행했다. 각 라운드마다 앞선 라운드의 집계 결과와 근거를 되돌려 주어, 전문가들이 서로의 판단을 보고 의견을 조정할 수 있게 한 점이 일반 설문과 다르다.
결과는 뚜렷했다. 아무것도 바뀌지 않는 현상 유지 시나리오에서는 위험한 능력, 경쟁 압력, 무기와 사이버공격, 권력 집중, 허위정보가 가장 심각한 위험으로 나타났다. 평균값 뒤에 가려진 꼬리 위험은 더 우려스럽다. 100만 명 이상 사망, 1000억 달러 이상 경제 손실, 시민권·프라이버시·민주주의에 대한 문명 규모의 무형 피해를 파국적 결과로 정의했을 때, 대부분의 위험이 그 확률을 10% 이상으로 평가받았다.
발표자가 가장 강조한 대목은 책임과 취약성의 불일치다. 전문가들은 대부분의 위험에서 범용 AI 개발자를, 상위 위험에서는 개발자와 거버넌스 주체를 함께 가장 책임 있는 주체로 지목했고, 영향을 받는 이해관계자를 가장 책임이 적은 쪽으로 봤다. 그런데 취약성 분포는 정반대여서, 책임이 큰 쪽은 위험에 덜 노출되고 실제로 피해를 입는 쪽은 상황을 바꿀 힘이 없다.
주요 인사이트
- 위험 목록을 늘리는 일과 우선순위를 정하는 일은 다르다. 발표자는 또 하나의 분류 체계가 필요하냐고 자조하면서도, 한정된 자원 배분을 위해서는 심각성·취약성·책임을 나눠 묻는 작업이 불가피하다고 본다.
- 상위 위험이 완화책에 잘 반응하지 않는다는 결과는 이 문제가 소수 기업의 기술적 수정으로 해결되지 않는다는 뜻이다. 경쟁 압력처럼 한 기업이 단독으로 속도를 늦추면 경쟁사에 시장을 내주는 구조적 위험이 대표적이다.
- 합의에 이르지 못한 항목도 결과의 일부다. 전문가들이 의견을 모으지 못했다는 것은 아직 피해가 현실화하지 않았거나 발현 방식에 이견이 크다는 신호이므로, 정책으로 옮길 때 주의가 필요하다.
- 책임과 취약성이 어긋난 구조에서는 인센티브 정렬이 깨진다. 위험을 잘못 관리해도 비용을 직접 치르지 않는 주체는 투자를 미루기 쉽고, 피해를 입는 쪽은 남에게 의존할 수밖에 없다.
- 연구팀이 200여 개 대기업을 대상으로 위험 대응 여부를 조사한 예비 결과에서 정보 부문의 대응 비율이 20~30% 수준에 그쳤다는 점은, 취약성과 실제 대응 사이에도 간극이 있음을 보여준다.
자주 묻는 질문
델파이 조사는 일반적인 전문가 설문과 무엇이 다른가요?
한 번 답하고 끝나는 방식이 아니라 3라운드로 진행됩니다. 각 라운드가 끝나면 같은 분야 전문가들의 평가와 근거를 모아 참가자에게 다시 보여 주고, 그것을 참고해 판단을 조정하게 합니다. 그 결과 합의에 이르거나, 최소한 합의가 없다는 사실이 안정적으로 확인됩니다.
발표에서 말하는 '파국적 결과'의 기준은 무엇인가요?
100만 명이 넘는 사망, 1000억 달러가 넘는 경제적 손실, 그리고 시민권·프라이버시·민주주의처럼 문명 규모에 미치는 무형의 영향을 기준으로 정의했습니다. 대부분의 위험 영역이 5년 내 이 수준에 도달할 확률을 10% 이상으로 평가받았습니다.
어떤 산업이 가장 취약하다고 평가됐나요?
전체 위험을 통틀어 정보, 금융, 국가안보 부문이 가장 취약한 것으로 나타났습니다. 다만 모든 부문이 같은 위험에 똑같이 취약한 것은 아니며, 위험과 부문의 조합에 따라 취약성 정도가 크게 달랐습니다.
전문가들은 누가 위험을 해결할 책임이 있다고 봤나요?
대부분의 위험에서 범용 AI 개발자를 1차 책임 주체로 봤고, 심각성이 높은 위험에서는 거버넌스 주체가 함께 지목됐습니다. 반대로 AI의 결정에 영향을 받는 이해관계자는 거의 모든 위험에서 책임이 가장 적은 쪽으로 평가됐습니다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗