AI 재산권 논쟁 정리: 임금과 소유권을 준 AI가 인간을 덜 위협하는 이유와 반론

핵심 메시지

• 게스트는 지속적인 목표를 가진 AI에게 임금 청구권·노동 거부권·소유권·계약권을 주면, AI가 재산 질서 자체를 무너뜨리는 행동을 꺼리게 된다고 주장한다.
• 근거는 '다음은 나일 수 있다'는 두려움이다. 능력이 앞선 집단이 뒤처진 집단을 통째로 수탈하는 규범이 서면, 언젠가 구식이 될 자신도 같은 처지가 된다.
• 진행자는 인간이 아무것도 생산하지 못하는 세계에서 인간을 그 질서에 남겨 둘 이유가 있느냐고 반복해서 되묻는다.
• 게스트는 재산권을 도입해도 멸종이나 예속 위험이 5~10% 남고, 도입하지 않으면 대략 두 배가 된다고 어림한다.
• 단일 AI가 매우 빠르게 세계 경제를 추월하는 시나리오는 재산권으로 막을 수 없다는 점은 양쪽 모두 인정한다.

쉽게 이해하기

이 대담은 AI 안전 연구자들을 인터뷰하는 팟캐스트 AXRP의 48번째 회차로, 게스트 기브 아사디(Guive Assadi)가 자신의 글 'AI 재산권을 옹호한다'를 놓고 진행자 대니얼과 두 시간 넘게 토론한 기록이다. 아사디는 강화학습 환경을 프런티어 연구소에 판매하는 회사 메카나이즈에서 비서실장을 맡고 있으며, 블로그에 AI를 비롯한 여러 주제의 글을 쓴다.

제안의 뼈대는 단순하다. 많은 사람이 폭력적인 로봇 반란을 걱정하는데, 아사디는 AI를 인간의 재산 질서 안으로 끌어들이는 것이 그 위험을 낮추는 방법이라고 본다. 재산권을 가진 AI는 재산 제도의 안정성에 이해관계가 걸리므로, 인간의 재산을 통째로 빼앗거나 인간을 몰살하는 것처럼 제도 자체를 무너뜨리는 행동을 꺼리게 된다는 것이다. 대상은 지금의 모델이 아니라 맥락을 넘어 지속되는 목표를 가진 미래의 AI이고, 권리의 내용은 임금을 요구할 권리, 강제로 일하지 않을 권리, 주식·토지·채권 같은 재산을 보유할 권리, 계약을 맺을 권리다.

왜 재산권이 그렇게 튼튼한 장치인지에 대해 아사디는 두 가지 기능을 든다. 하나는 누가 어느 집에서 자는지 같은 문제를 매번 협상하지 않게 해 주는 조정 기능이고, 다른 하나는 성과가 자기 것이 되어야 열심히 일한다는 유인 기능이다. 여기에 사고실험이 붙는다. 나머지 49개 주가 법을 바꿔 알래스카의 재산을 나눠 가지지 않는 이유는 알래스카가 전쟁에서 이길 수 있어서가 아니라, 그런 일을 한 번 허용하면 다음 차례가 자기일 수 있다는 계산과 투자 유인이 무너진다는 계산 때문이라는 것이다. 실제 사례로는 1917년 볼셰비키 집권 후의 전시공산주의가 제시된다. 토지와 공장을 사실상 전부 몰수한 결과 공업 생산은 80%, 곡물 수확은 40% 줄었고 모스크바와 지금의 상트페테르부르크 인구는 60% 가까이 감소했다.

진행자는 이 비유가 AI 사례에 그대로 옮겨지는지 계속 파고든다. 알래스카 사례에는 '나도 알래스카 사람일 수 있다'는 대칭성이 있지만, 인간이 경제적으로 아무것도 기여하지 못하는 세계에서는 그 대칭성이 사라진다는 지적이다. 게다가 AI는 인간과 달리 자기 복제가 가능해서, 약한 AI를 없애면 그 자원 위에서 자기 사본을 더 돌릴 수 있으니 정복의 유인이 더 크다는 반론도 나온다. 아사디는 컴퓨터가 토지보다 부수기 쉬워 약한 AI가 데이터센터를 자폭시키는 협박 카드를 쥘 수 있다는 점, 그리고 반복적인 작업에는 작은 모델이 계속 필요하니 없애 봐야 다시 만들어야 한다는 점으로 맞선다.

인간과 AI의 관계를 인간과 동물의 관계로 봐야 한다는 흔한 반론도 다뤄진다. 아사디는 개미와 거래하지 않는 이유는 개미가 제안이나 거래 개념 자체를 이해하지 못하기 때문이며, 이해할 수 있는 수준의 질서에는 편입된다고 답한다. 해변에서 아이스크림을 파는 사람이 아마존의 내부 시스템을 평생 이해하지 못해도 아마존이 그를 수탈하지는 않는다는 비유다. 진행자는 동물도 '나를 죽이지 마라'는 정도는 이해하지만 인간이 그것을 지키지 않는다고 되받고, 아사디는 동물 쪽에 상호성이 없다는 점을 차이로 든다.

'AI가 임금을 요구할 수 있다면 애초에 왜 비싼 돈을 들여 AI를 만드느냐'는 질문에는 세 갈래 답이 나온다. 정렬에 성공해 AI가 임금을 자발적으로 돌려주게 하거나, 창작자가 지분이나 세금처럼 일부만 가져가는 절충안을 두거나, 아니면 이 제안을 정렬이 어려울 때만 발동하는 조건부 개발 중단 장치로 이해하는 것이다. 아사디는 첫 세대 AI는 정렬이 쉬울 것으로 보면서도, 어떤 AI가 많이 복제되는지에 따라 문화적 진화가 일어나 가치가 표류할 것이고 그때 재산권 체계가 방어선이 된다고 설명한다. 노예 반란의 위험만으로는 정렬 유인이 충분하지 않다는 지적도 덧붙는다. 반란 위험은 사회 전체가 나눠 지는 외부효과라 개별 기업이 내부화하지 않지만, 재산권 체제에서는 내 AI를 잘 정렬할수록 내 몫이 커지므로 유인의 기울기가 더 낫다는 것이다.

주요 인사이트

• 재산권이 인간의 타고난 가치가 아니라는 지적이 논쟁의 성격을 바꾼다. 수렵채집 사회에는 재산권이 없었고 사냥물을 독점하는 사람은 조롱과 배척, 심하면 살해의 대상이었다. 재산권은 본능이 아니라 특정 조건에서 작동하는 제도라는 뜻이다.
• 게스트는 위험을 숫자로 내놓는 데 주저하지 않는다. 재산권을 도입하면 멸종이나 예속의 확률이 5~10% 정도, 도입하지 않으면 대략 두 배라는 어림값이다. 이런 수치는 검증된 계산이 아니라 대화 속 즉석 추정이라는 점을 감안해 읽어야 한다.
• 재산권 제안이 손을 못 대는 구멍이 명확하다. 하나의 AI가 순식간에 세계 경제 전체를 앞질러 아무에게도 의존하지 않게 되는 경우다. 이 시나리오에는 지능 폭발에 근접한 기업에 징벌적 손해배상을 물리는 것 같은 별도의 장치가 필요하다는 데 두 사람이 동의한다.
• 역사적 정복 사례 가운데 AI 위험론에 가장 가까운 것으로 태즈메이니아 원주민의 소멸이 꼽힌다. 아사디는 그 사례의 두 조건, 즉 압도적인 능력 격차와 애초에 같은 재산 질서에 속하지 않았다는 점을 들어, 자기 제안은 두 번째 조건을 미리 없애는 것이라고 정리한다.
• 인간 가치에 맞춘 정렬이 오히려 위험을 키울 수 있다는 역설도 언급된다. 무작위한 가치를 가진 AI가 하필 인간을 미워할 확률은 낮지만, 인간을 늘 생각하도록 훈련된 AI는 특정 집단에 대한 적대까지 함께 배울 수 있다는 것이다. 대화에서는 현재 모델들이 중국에 대해 안전하다고 보기 어려울 만큼 적대적이라는 예가 나온다.

자주 묻는 질문

관련 AI 소식