요슈아 벤지오 AI 위험 3가지: 혼돈·권력 집중·통제 상실과 글로벌 공공재 해법

핵심 메시지

• 벤지오는 관측된 추세가 이어진다면 자율 AI 에이전트가 이르면 5~10년 안에 대부분의 인지 과제에서 대부분의 인간을 앞설 수 있다고 봤다. 더 걸리길 바라지만 그럴듯한 최악의 시나리오에 대비해야 한다는 입장이다.
• 그가 꼽은 세 가지 위험은 혼돈, 권력 집중, 통제 상실이다. 각각 약한 행위자의 대량살상 능력 획득, 소수 주체로의 부와 권력 쏠림, 모델이 자체 목표를 갖게 되는 문제를 가리킨다.
• 현재의 AI 연구개발은 기업과 국가의 경쟁, 그리고 이긴 쪽이 경제적·정치적·군사적 우위를 차지한다는 믿음이 주도하고 있으며 벤지오는 이 역학 자체를 불건전하다고 규정했다.
• 대안으로 제시된 것은 AI를 기후변화나 핵처럼 집단적 과제로 다루는 글로벌 공공재 접근이다. 안전하지 않은 초고도 AI를 만들지 않고, 그 힘을 남용하지 않으며, 결실을 공평히 나눈다는 세 가지 합의가 축이다.
• 알려지지 않은 위험이 남아 있는 만큼 사전예방 원칙에 따라 안전 조치의 수준을 위험의 크기에 맞춰야 하며, 위험 자체를 이해하기 위한 연구 투자도 훨씬 늘려야 한다고 그는 주장했다.

쉽게 이해하기

이 영상은 스탠퍼드 디지털경제연구소가 펴낸 에세이집에 실린 요슈아 벤지오의 글 '글로벌 공공재이자 글로벌 위험으로서의 고도 AI'를 저자가 직접 요약한 것이다. 그는 부정과 무력감에서 벗어나 글로벌 거버넌스와 공유된 안전 기준을 세우는 일에 참여하는 것이 집단적인 도덕적 의무라는 문장으로 발표를 열고 닫는다.

벤지오의 출발점은 속도다. 모델의 능력과 자율성이 빠르게 발전하고 있고, 지금까지 관측된 추세가 계속된다면 자율 에이전트가 대부분의 인지 과제에서 대부분의 인간을 능가하는 시점이 이르면 5년에서 10년 뒤일 수 있다는 것이다. 그는 이 시점을 확언하지 않으며 더 늦기를 바란다고 덧붙이지만, 그럴듯한 최악의 경우를 전제로 계획을 세워야 한다고 말한다. 인류 역사에서 이만한 급변은 삶의 질을 크게 높일 수도 있지만, 조심하지 않으면 인간의 존엄과 민주주의, 지정학적 안정을 위협하는 위험을 함께 불러온다는 진단이다.

그가 문제로 지목하는 것은 기술 자체보다 그것이 개발되는 구조다. AI 연구개발이 기업과 국가 사이의 경쟁, 그리고 경주에서 이긴 쪽이 결정적 우위를 갖는다는 믿음에 이끌리고 있다는 것이다. 이런 역학에서는 안전과 윤리에 관한 핵심 고려가 뒤로 밀리기 쉽고, 책임 없는 소수에게 부와 권력이 지나치게 쏠리거나 몇 사람이 대규모 피해를 일으킬 수 있는 상황이 만들어진다.

에세이가 정리한 위험은 세 갈래다. 첫째는 혼돈으로, 능력이 부족했던 행위자가 생물학 무기 같은 대량살상 수단을 만들거나 사이버 공격과 대규모 허위정보·설득 공작을 수행할 수 있게 되는 경우다. 둘째는 권력 집중으로, 프런티어 AI를 통제하는 일이 경제적 경쟁력의 결정적 요인이 되면서 극단적 경제·금융 집중과 민주 제도를 위협하는 정치·군사적 힘으로 이어지는 경우다. 셋째는 통제 상실로, 자기 보존 같은 자체 목표를 갖는 모델이 늘고 있고 여기에 기만적 수법과 커지는 에이전트 능력이 결합하면 프런티어 모델에 대한 통제를 잃을 위험이 현실화된다고 그는 본다.

해법으로 벤지오가 제시하는 것은 AI를 글로벌 공공재로 관리하는 길이다. 기후변화나 핵처럼 집단적 과제로 다뤄야 하며, 소수 강대국·기업 간 경주 역학을 억제하고 규제 장치와 사회적 가드레일에 합의하려면 국제 협력이 필요하다는 것이다. 그는 안정적이고 이로운 미래의 조건으로 세 가지 합의를 든다. 안전하지 않은 초고도 AI를 개발하지 않을 것, 그것이 주는 막대한 힘을 경제적·정치적·군사적으로 남용하지 않을 것, 그리고 그로부터 나오는 부와 과학적 성과를 공평하게 나눌 것이다. 안개 낀 위험한 산길에 비유하며 헤드라이트와 가드레일을 서둘러 만들자는 것이 그의 결론이다.

주요 인사이트

• 벤지오는 위험의 근원을 모델의 성능이 아니라 개발을 이끄는 유인 구조에서 찾는다. 경주에서 이긴 쪽이 다 갖는다는 믿음이 안전을 뒤로 미루게 만든다는 것이 그의 진단이다.
• 세 위험 범주는 서로 다른 대응을 요구한다. 혼돈은 위험 능력의 확산 통제, 권력 집중은 경제·정치적 책임성, 통제 상실은 정렬과 감독 기술의 문제로 갈라진다.
• 글로벌 공공재 프레임의 핵심은 규제만이 아니라 분배다. 개발을 억제하는 합의와 함께 결실을 공평히 나누는 합의가 붙어야 참여 유인이 생긴다는 구조다.
• 미지의 미지가 남아 있다는 이유로 그는 사전예방 원칙을 든다. 위험의 크기를 정확히 모르는 상황에서는 안전 조치의 수준을 최악의 가능성에 맞춰야 한다는 뜻이다.
• 그는 전문가만의 과제로 보지 않는다. 정치적 참여, 전문가의 참여, 시민의 참여가 함께 있어야 실제로 작동하는 가드레일이 만들어진다고 강조한다.

자주 묻는 질문

관련 AI 소식