국제 AI 안전 보고서 패널 정리: 증거 공백과 책임 제도, AI 신원 등록이 필요한 이유

핵심 메시지

• 보고서의 주요 결론은 AI의 능력 향상 속도가 위험을 이해하고 완화하는 능력보다 빠르다는 것이다.
• 보고서는 권고를 담지 않고 과학적 합의와 이견을 정리하는 데 집중했으며, 이는 과학과 정치를 분리하려는 의도적 설계다.
• 패널이 가장 중요하게 꼽은 개념은 '증거 공백'으로, 피해가 확정되기 전에 정책 결정을 내려야 하는 구조적 딜레마를 가리킨다.
• 벤지오는 책임 법제 명확화와 의무 보험을 빠르게 쓸 수 있는 지렛대로 제시했고, 해드필드는 기존 불법행위법의 한계를 들어 반박했다.
• 에이전트가 거래와 소통을 시작했는데도 모델과 에이전트의 신원 확인·등록 체계가 없다는 점이 시급한 공백으로 지목됐다.

쉽게 이해하기

패널은 국제 AI 안전 보고서를 어떻게 읽어야 하는지에서 출발한다. 벤지오의 설명에 따르면 이 보고서는 30개국에서 모인 패널과 100명 가까운 참여자가 함께 만든 결과물로, 최신 모델의 능력과 새로 확인되는 위험, 완화에 대해 알려진 것을 세 축으로 종합하되 정책 권고는 담지 않고 무엇이 합의됐으며 어디서 과학자들의 의견이 갈리는지를 정리한다. 주요 결론은 능력이 올라가는 속도가 위험을 이해하고 줄이는 능력보다 빠르다는 것이며, 222쪽 본문과 별도로 25쪽 분량의 요약본이 함께 제공된다. 형식에도 의도가 있어서, 벤지오는 기후변화 분야 보고서에서 배운 교훈으로 사실을 확립하는 과학의 영역과 권고를 다루는 정치의 영역을 갈라야 한다는 점을 들며 요약문을 협상으로 만들면 진실이 아니라 이해관계가 반영된다고 지적한다.

보고서가 만들어진 배경도 같은 맥락이다. 정책 결정자들이 서로 정반대되는 주장을 동시에 듣고 무엇을 믿어야 할지 모르는 상황에서, 검증과 엄밀성에 기대는 과학의 방식이 필요했다는 것이다. 그런 다음 토론의 중심은 '증거 공백'으로 옮겨간다. 피해가 완전히 실현되기 전에 위험을 식별하다 보니, 정책 결정자에게는 결론이 나지 않은 근거를 바탕으로 행동하라고 요구하게 된다는 구조적 문제다.

벤지오는 이를 추측이 아니라 불확실성 아래의 결정이라고 고쳐 부른다. 일부 위험은 사회를 근본적으로 바꾸고 수십억 명에게 영향을 줄 수 있으므로, 확률이 낮더라도 피해 규모를 곱하면 이미 감수할 수 없는 수준이 된다는 것이다. 그래서 다른 과학 분야에서 쓰이는 사전예방 원칙을 참고하자는 제안이 나왔다.

제도 논쟁도 이어졌다. 리비는 새 제도를 만들 시간이 없으니 지금 가진 것을 지키며 빠르게 움직여야 한다고 봤고, 해드필드는 인류 사회가 복잡해질 때마다 제도를 재발명해 왔다며 위험 관리 틀에 끼워 맞추는 접근으로는 부족하다고 주장했다. 벤지오는 즉시 쓸 수 있는 지렛대로 책임 법제의 회색지대를 없애고 의무 보험을 도입하자고 제안했다. 보험사가 위험을 정확히 산정할 유인을 갖게 되므로 사실상 규제자 역할을 한다는 논리다. 해드필드는 불법행위법에 이미 그런 책임이 있으며 소송은 느리고 비싸다고 반박했고, 실존적 위험처럼 정량화되지 않는 불확실성은 애초에 보험 대상이 될 수 없다는 지적도 나왔다.

구체적인 실행 과제로는 신원 인프라가 꼽혔다. 해드필드는 이미 에이전트들이 지갑을 갖고 거래하며 관계망을 만들고 있는데도 프런티어 모델과 에이전트의 신원 확인·등록 체계가 전혀 없다는 점을 우려하며, 미등록 모델과 거래한 쪽에 책임을 지우는 구조를 대안으로 제시했다. 벤지오는 이용자가 봇이 보낸 이메일이나 게시물을 구분할 수 있어야 한다며, 은행 계좌와 달리 소셜 계정에는 아무 확인 절차가 없다는 점을 들어 계정 생성에 마찰을 두는 편이 오히려 이롭다고 덧붙였다. 마무리에서 해드필드는 모델 사양 같은 핵심 결정이 기업의 벽 안에서 이뤄지고 기업이 쓴 문서를 '헌법'이라 부르는 상황 자체가 문제라고 지적했고, 리비는 인간이 번영하고 자율성을 지킬 조건을 만드는지가 더 중요한 질문이라고 정리했으며, 벤지오는 AI가 도구로 남아야 하고 시민들이 기업과 정부에 투명한 위험 관리와 대응을 요구해야 한다고 답했다.

주요 인사이트

• 보고서가 권고를 일부러 뺀 것은 소극적 태도가 아니라 설계다. 사실을 확립하는 절차와 정책을 협상하는 절차를 섞으면 요약문이 이해관계의 산물이 된다.
• 증거 공백은 자료가 부족하다는 말이 아니라, 피해가 확정될 때까지 기다릴 수 없는 위험이 존재한다는 뜻이다. 이때 판단 기준은 확률 자체가 아니라 확률과 피해 규모의 곱이 된다.
• 책임과 보험은 규제를 대체하는 것이 아니라 이미 있는 장치를 켜는 일에 가깝다. 다만 보험은 정량화된 위험만 다룰 수 있어 실존적 위험에는 닿지 않는다는 반론도 함께 나왔다.
• AI가 사람인 척하지 않게 하는 고지 의무는 규제의 출발점이지만, 집행 장치가 없으면 조문으로만 남는다. 게다가 사람은 상대가 AI임을 알고도 감정적으로 애착을 갖고 영향을 받기 때문에, 고지만으로 위험이 사라진다는 가정 자체가 틀렸다는 데 패널이 뜻을 모았다.
• 신원 등록은 규제의 부속물이 아니라 전제 조건이다. 미등록 모델·에이전트와의 거래에 책임을 묻는 구조가 없으면 어떤 금지 조항도 붙잡을 손잡이가 없다.

자주 묻는 질문

관련 AI 소식