AI 사전 허가제와 초지능 개발 중단 요구 — 미래생명연구소 앤서니 아기레 인터뷰

핵심 메시지

• 미래생명연구소는 프런티어 AI에 대해 성능이 높아질수록 요건이 강해지는 의무 허가제를 요구하며, 가벼운 시스템이나 좁은 용도의 시스템에는 규제를 적용하지 않는다는 입장이다.
• 지금의 범용 AI 개발은 감독받지 않는 소수 기업들의 경쟁 구도 속에서 진행되고 있으며, 위험 관리 체계가 갖춰질 때까지 개발을 멈춰야 한다는 것이 이 단체의 공식 입장이다.
• 초지능은 증명 가능한 수준의 안전 보장이 가능해지기 전까지 만들지 말아야 하며, 그런 보장은 현재 기술로는 불가능하다.
• 위험은 AI 자체의 폭주만이 아니라, 소수 기업이나 정부, 혹은 AI 시스템 네트워크로 결정권이 넘어가면서 인간의 판단 능력이 사라지는 권력 집중에서도 온다.
• 예측 플랫폼을 10년 운영한 경험에서 가장 값진 것은 확률 수치 자체가 아니라, 무엇을 알아야 결정할 수 있는지를 명확한 질문으로 쪼개는 과정이었다.

쉽게 이해하기

이론물리학자 출신으로 캘리포니아대 산타크루즈 교수직을 유지하고 있는 앤서니 아기레는 약 10년 전 맥스 테그마크 등과 함께 미래생명연구소를 세웠다. 당시만 해도 범용 인공지능은 수십 년, 길게는 수백 년 뒤의 일로 여겨져 논의가 다분히 추상적이었다고 그는 회고한다. 지금 그는 이 단체의 상근 대표이면서 예측 플랫폼 메타큘러스도 함께 운영하고 있다.

설립 초기 이 단체는 학술적 성격이 강했다. 2015년에 기술적 AI 안전 연구에 대한 첫 연구비를 지원했고, 서로 대화하지 않던 학계와 비영리, 산업계, 정책 담당자들을 한자리에 모으는 역할을 했다. 아기레는 당시 여러 AI 연구소 대표들이 한 방에 모여 웃으며 의견을 맞추던 풍경이 지금은 사라졌다고 말한다. 이제 그들 중 상당수는 치열한 경쟁자, 어떤 면에서는 적대적인 관계가 되었다는 것이다.

최근 몇 년간 이 단체의 무게중심은 정책 쪽으로 옮겨갔다. 유럽연합 AI 법 논의에 깊이 참여했고 미국 의회 청문회에서 증언하기도 했다. 2023년 초 공개서한을 계기로는 전문 지식을 전달하는 역할을 넘어 분명한 입장을 가진 옹호 활동으로 한 걸음 더 나아갔다. 자율무기나 핵무기에 대해서도 입장을 낸 적이 있지만, 개발 중단을 요구한 서한은 주요 기업들의 목표와 정면으로 부딪히는 것이었다는 점에서 성격이 달랐다.

아기레가 제안하는 허가제의 골자는 간단하다. 시스템의 능력과 위험을 평가하되, 그 평가를 이해관계가 없는 제3자가 직접 수행하거나 최소한 검증해야 하고, 배포 이전에 승인 절차를 통과해야 한다는 것이다. 지금도 배포 전에 평가는 이뤄지지만 위험한 점이 발견됐을 때 무슨 일이 벌어지는지가 불분명하다고 그는 지적한다. 비행기와 자동차, 의약품에서 우리가 이미 하고 있는 일이며, 유독 기술 분야만 규제가 거의 없던 상태가 이어져 왔을 뿐이라는 설명이다.

초지능에 대해서는 훨씬 더 강한 문턱을 요구한다. 그는 유치원생 열 명이 기업 최고경영자를 데려와 문제를 풀게 하는 상황에 빗대어, 아이들이 그 경영자를 통제할 방법은 사실상 없다고 말한다. 자기보다 훨씬 지능이 높은 시스템을 안전하게 유지하는 문제는 애초에 풀 수 있는 문제인지조차 확실하지 않으며, 해법이 제때 나올 것이라 가정하고 밀고 나가는 것은 현명하지 않다는 것이다.

주요 인사이트

• 잘 정의된 예측 질문에서 확률이 70%인지 80%인지는 대부분의 의사결정을 바꾸지 못한다. 반면 1%와 10%의 차이, 혹은 범용 인공지능 도래 시점이 2030년인지 2035년인지는 실제로 판단을 바꾼다.
• 예측 플랫폼의 진짜 산출물은 숫자가 아니라 과정이다. 무엇을 결정하고 싶은지, 그러려면 무엇을 알아야 하는지를 누구나 같은 뜻으로 읽는 구체적 질문으로 분해하는 작업 자체가 가치를 만든다.
• 권력 집중 문제는 많은 사람이 걱정하지만 연구 수준에서 다루는 사람은 거의 없다. 이 단체가 별도 연구 공모를 낸 이유도 저절로는 진행되지 않는 주제이기 때문이다.
• 컴퓨팅 자원 보안과 거버넌스처럼 언젠가는 저절로 만들어질 것들도 있다. 이 경우 지원의 목적은 방향을 바꾸는 것이 아니라 필요한 시점보다 늦게 도착하지 않도록 일정을 앞당기는 데 있다.
• 자매 조직인 미래생명재단은 새 조직을 만들어내는 인큐베이터 역할을 한다. 초기 자금뿐 아니라 리더를 찾고 조직의 역할을 설계하며 초기 운영을 돕는 일까지 포함한다.

자주 묻는 질문

관련 AI 소식