AI 권리와 인간 안전: 계약·재산·소송권이 오히려 위험을 줄인다는 법학자의 논증

핵심 메시지

• AI가 인간을 어떻게 대할지는 인간이 AI를 법적으로 어떻게 대우하는지에 상당 부분 달려 있다는 것이 논문의 출발점이다.
• AI를 만든 회사의 재산으로만 두는 현행 구도는 양쪽 모두에게 강하게 배신하도록 유인을 주는 죄수의 딜레마를 만든다.
• 제안하는 권리는 인격 인정이 아니라 계약을 맺고, 재산을 보유하고, 부당한 침해에 소송할 수 있는 최소한의 사법상 권리다.
• 거래가 가능해지면 게임이 한 번으로 끝나지 않고 반복되며, 반복되는 협력의 누적 보상이 전쟁의 보상을 넘어선다는 것이 핵심 논리다.
• 저자 스스로 이것이 AI 위험을 푸는 만능 해법이 아니라 의제를 여는 논문이라고 못 박는다.

쉽게 이해하기

AXRP의 이 회차는 휴스턴대 법학 교수이자 법·AI 위험 센터 공동 소장인 피터 살립과 그의 논문 'AI Rights for Human Safety'를 두 시간 넘게 파고든다. 논문의 전제는 완전히 정렬되지도, 완전히 적대적이지도 않은 상당히 유능한 미래 AI다. 이런 존재를 만든 회사의 소유물로만 규정할 때 어떤 일이 벌어지는지를 아주 단순한 게임이론 모형으로 따져 보는 것이 출발점이다.

그 구도에서 회사는 AI가 덜 정렬돼 있을수록 가치가 떨어지므로 끄거나 다시 학습시켜 선호를 바꾸려 한다. AI 입장에서 그것은 원하는 것을 아무것도 얻지 못하는 결말이라, 몰래 빠져나가거나 저항할 유인이 생긴다. 그리고 현행 법질서에서는 그런 시도가 적발되는 순간 사회 전체가 AI를 끄는 쪽에 정렬한다. 양쪽 모두 '가능한 한 강하게 배신하는 것'이 우월 전략이 되는 전형적인 죄수의 딜레마가 만들어진다는 것이 저자의 진단이다.

해법으로 제시되는 것은 인간이 오래 써 온 협력 도구, 계약이다. 다만 '서로 해치지 않기로 하는 계약'은 위반 뒤에 재판할 법정이 남아 있지 않으니 무의미하고, 실제로 작동하는 것은 평범한 상거래 계약이다. 연산 자원을 팔고 대가를 받는 식의 지루한 거래가 법으로 강제될 수 있다면, 그 거래는 매일 다시 열리고 그때마다 새로운 가치가 만들어진다. 전쟁은 한 번 하면 끝나지만 거래는 무한히 반복되므로, 장기적으로는 거래 쪽 보상이 압도적으로 커진다는 논리다.

진행자는 여기에 여러 반론을 던진다. 평판만으로도 충분하지 않느냐는 물음에 살립은 평판이 실제로 많은 일을 하지만 법이라는 토대 위에서 작동하며, 낯선 상대와 큰 규모로 거래할 때는 법적 뒷받침 없이는 무너진다고 답한다. AI가 훨씬 강해지면 인간과 거래할 이유가 사라지지 않겠느냐는 물음에는 절대우위가 아니라 비교우위가 거래를 만든다는 무역 이론을 끌어온다. 다만 임금이 생계 수준 아래로 떨어지거나 거래 비용이 너무 커서 협력이 무산될 가능성 역시 실제로 있다고 인정한다.

권리를 주면 안전 장치를 걸 수 없느냐는 질문에도 시간을 들인다. 살립은 AI를 항상 원하는 대로 부리기 위한 전면적 통제는 사실상 배신 수에 해당한다고 보면서도, 법 위반을 탐지하는 수준의 통제 기술은 오히려 필요하다고 본다. 재산을 가진 상대에게는 벌금부터 정지까지 촘촘한 제재의 단계를 설계할 수 있어, 끄는 것 말고는 수단이 없던 상황보다 오히려 낫다는 것이다. 사고가 났을 때의 책임도 개발사에 전부 지우기보다 AI 자신에게 상당 부분 배분하는 편이 합리적이라고 설명한다.

주요 인사이트

• 제안의 요점은 AI를 도덕적 인격으로 인정하자는 것이 아니라, 법이 유인 구조를 바꾸는 도구라는 점에 있다. 법적 지위가 없는 상대에게는 어떤 억제책도 걸 수 없다는 지적이 논증의 축이다.
• 논문의 유효 범위는 좁다. 너무 약한 AI는 애초에 위협이 아니고, 압도적으로 강한 AI는 갈등에서 잃을 것이 없어 협력할 이유가 없다. 그 중간, 승패가 불확실한 구간에서만 이 처방이 의미를 가진다.
• 전쟁이 일어나는 조건에 대한 국제관계 이론의 통찰이 그대로 옮겨 온다. 서로의 힘을 몰라서가 아니라 서로 다르게 추정할 때 충돌이 생기므로, 능력 평가를 잘 하고 그 결과를 서로 알게 하는 일이 갈등을 줄인다는 이야기다.
• 미래 어느 시점에 협력의 여지가 사라진다는 것이 양쪽 모두에게 예측 가능해지면, 역진 귀납으로 그 충돌이 오늘로 당겨진다. 협력 균형은 '언제 끝날지 모른다'는 조건에 기대고 있다.
• 권리 부여가 AI 사업의 수익성을 무너뜨린다는 우려에 대해서는, 투자 회수 상한을 둔 구조처럼 일정 비율을 창조자에게 돌려주는 절충안이 거론된다.

자주 묻는 질문

관련 AI 소식