프런티어 AI 일시정지 국제 조약 제안: 통제 상실 위험과 검증 가능한 3단계 구조 정리

핵심 메시지

• 발표자는 통제 상실을 'AI가 누구의 통제도 벗어나 되돌릴 경로가 없는 상황'으로 정의한 국제 AI 안전 보고서의 규정을 출발점으로 삼는다.
• 역대 최대 규모 AI 연구자 설문에서 인류 멸종 수준의 결과 확률은 중앙값 5%, 평균 14%로 집계됐다고 인용한다.
• 도시나 국가 단위의 금지는 의미가 없고, 위험을 실제로 낮추는 것은 만들 수 있는 모든 주체를 포괄하는 '검증 가능한' 국제 조약뿐이라는 주장이다.
• 조약은 학습 규모 상한, 필수 투입물에 대한 검증, 집행 수단이라는 세 부분으로 구성된다.
• 호주는 프런티어 모델을 직접 만들지 않아 중재자로서 신뢰를 얻기 좋은 위치라고 발표자는 평가한다.

쉽게 이해하기

이 발표는 호주 AI 안전 포럼 2026에서 PauseAI 오스트레일리아의 피터 호르니악이 한 6분 남짓의 짧은 강연이다. 그는 프런티어 AI를 만드는 사람들이 스스로 '모두를 죽일 수도 있다'고 말하면서도 개발을 이어가는 상황을 문제 삼는다. 업계가 내놓은 주된 정렬 계획이 결국 'AI에게 정렬 숙제를 시키는 것'이라는 점도 함께 지적한다.

위험의 크기를 가늠하기 위해 그는 두 가지 수치를 든다. 하나는 역대 최대 규모의 AI 연구자 설문에서 나온 멸종 또는 그에 준하는 결과의 확률로, 중앙값 5%·평균 14%였다. 같은 설문에서 인간 수준 기계지능이 향후 도래할 확률은 평균 25%로 집계됐다. 다른 하나는 옥스퍼드대 토비 오드의 평가로, AI가 핵무기·팬데믹·기후변화를 비롯한 다른 모든 멸종 위험을 합친 것보다 크다는 것이다.

그렇다면 한 나라가 무엇을 할 수 있느냐가 다음 질문이다. 발표자는 시드니에서 막으면 멜버른에서, 호주 전체에서 막으면 국경 너머에서 만들어질 수 있다는 식으로 국지적 규제의 무력함을 단계적으로 보여준다. 누구든 파국적 AI를 만들면 호주인도 위험해지므로, 필요한 것은 조건부 일시정지를 담은 국제 조약이라는 결론에 이른다. 미국과 중국의 서명이 가장 중요하지만, 충분한 연산 자원을 가진 어느 곳에서든 위험이 생길 수 있어 두 나라만으로는 부족하다고 본다.

조약의 구조는 세 부분이다. 첫째, 더 큰 모델이 안전하다는 과학적 합의가 생길 때까지 학습 규모에 상한을 두어 투입을 통제함으로써 결과적 능력을 통제한다. 둘째, 국제원자력기구가 핵물질을 사찰하는 방식을 본떠 필수 투입물을 검증한다. 셋째, 동료 압박·경제 제재·자산 제한 같은 기존 군축 및 비확산 협정의 도구를 집행 수단으로 쓴다.

발표자는 자주 듣는 세 가지 반론에 미리 답한다. 일시정지가 더 무모한 행위자에게 주도권을 넘긴다는 지적에는 그래서 일방적 중단이 아니라 검증 가능한 글로벌 조약을 원한다고 답한다. 당장의 피해가 더 중요하다는 지적에는 프런티어 일시정지가 AI 기반 생물·사이버·허위정보 위험도 함께 줄인다고 반박한다. 멸종 위험이 사변적이라는 지적에는, 증거가 부정할 수 없어질 때까지는 사변적으로 남겠지만 그 시점에는 이미 늦을 수 있고 조약과 사찰 기구를 세우는 데만 수개월에서 수년이 걸린다고 답한다.

주요 인사이트

• 위험 추정치의 설득력이 외부 비판자가 아니라 개발 당사자들의 자기 응답에서 나온다는 점이 이 발표의 핵심 수사다. 스무 번에 한 번이라는 확률을 자기 일에 대해 말한 사람들이 곧 연구자 자신이라는 대비가 논거를 지탱한다.
• '일시정지'가 곧 중단이 아니라 조건부라는 점이 중요하다. 더 큰 모델이 안전하다는 과학적 합의가 형성되면 상한이 풀리는 구조여서, 영구 금지가 아니라 판단 유예 장치에 가깝다.
• 능력을 직접 규제하기 어려우니 투입을 규제한다는 발상은 컴퓨트 거버넌스 논의의 전형이다. 결과물의 성능을 사전에 측정하기 어려운 반면 학습 자원은 상대적으로 세기 쉽다는 비대칭을 이용한다.
• 냉전기 상호 핵사찰이 실제로 작동했다는 사례는 '불가능하다'는 반론에 대한 대응으로 쓰인다. 적대적 관계에서도 검증 체제가 성립한 전례가 있다는 것이다.
• 프런티어 모델을 만들지 않는 나라가 오히려 협상 중재자로서 유리하다는 논리는, 규제 논의에서 비개발국의 역할을 다시 보게 만든다. 발표자는 핵무기금지조약을 이끈 ICAN이 멜버른에서 시작됐고 호주가 42개국의 화학·생물무기 수출통제를 조율하는 오스트레일리아 그룹의 의장국이라는 점을 근거로 든다.

자주 묻는 질문

관련 AI 소식