AI 쿠데타 위험 분석 — 군사·행정부·기업 쿠데타와 단독 충성, 비밀 충성, 독점 접근

핵심 메시지

• 군사 쿠데타의 승부처는 병력 규모가 아니라 '이 쿠데타는 성공한다'는 공통된 기대를 군 내부에 만드는 일이다. 그래서 전체의 10분의 1 수준 병력으로도 성공할 수 있다.
• AI는 행정부 쿠데타를 훨씬 현실적으로 만든다. 지도자가 강력한 AI를 사실상 독점하고, 명령을 거부할 수 있는 인간 관료와 군인을 AI로 대체할 수 있기 때문이다.
• 위험을 키우는 축은 셋이다. 특정 인물에게만 충성하는 단독 충성, 그 충성을 숨기는 비밀 충성, 상대는 비슷한 성능의 AI를 쓸 수 없는 독점 접근이다.
• 데이비드슨은 미국에서 AI 기반 쿠데타가 일어날 확률을 '매우 대략적으로' 10% 정도로 본다고 말한다. 이는 그가 보는 AI 탈취 위험과 비슷한 수준이다.
• 대응은 기술과 제도를 함께 가야 한다. 적대적 상황을 가정한 비밀 충성 탐지 연구, 가중치 보관과 해시 검증, 군용 AI가 한 사람에게만 보고하지 않도록 하는 합의가 함께 필요하다.

쉽게 이해하기

이 대담은 쿠데타가 실제로 어떻게 작동하는지부터 짚는다. 데이비드슨은 쿠데타를 군사 쿠데타와 행정부 쿠데타로 나눈다. 군사 쿠데타의 핵심은 병력을 더 많이 모으는 것이 아니라, 군 구성원 모두에게 '이미 승부는 기울었다'는 공통의 기대를 만드는 일이다. 방송국을 장악해 승리를 선언하고, 주요 건물을 점거하며, 아무도 반대하지 않는 장면을 연출하는 전형적 수법은 모두 이 기대의 균형을 뒤집기 위한 행동이라는 설명이다.

행정부 쿠데타는 이미 국가수반인 사람이 사법부와 입법부를 자기 사람으로 채우고 권한을 행정부에 몰아가며 기존 법질서를 서서히 무너뜨리는 방식이다. 데이비드슨은 성숙한 민주주의가 군사 쿠데타에는 꽤 강하지만 행정부 쿠데타에는 그만큼 강하지 않다고 본다. AI가 들어오면 두 가지가 달라진다. 강력한 AI를 한쪽만 쓸 수 있게 되면 정치적 힘겨루기에서 큰 우위가 생기고, 반발할 수 있는 사람들을 AI로 대체하면 권력자가 지금처럼 넓은 연합에 얽매이지 않아도 된다.

가장 극단적인 지점은 자동화된 군대다. 지금 미국에서는 군인들이 헌법에 충성하고 법을 어기지 않으려 하기 때문에 국가수반이 군의 적극적 협조를 얻기가 매우 어렵다. 그러나 무기 체계가 충분히 자율화되면 그 마지막 안전장치가 사라진다. 데이비드슨은 헌법이 로봇 군대를 상정하고 쓰이지 않았기 때문에, 조문을 문자 그대로 읽으면 통수권자에게만 충성하는 자동 군대를 위법이라고 단정하기 어려울 수 있다고 말한다.

AI 기업발 쿠데타는 사료가 없는 새로운 위험이다. 독점 접근은 개발사가 기본적으로 갖고 있지만, 사회 전반에 배치될 AI에 비밀 충성을 심는 일은 기술 장벽이 높다. 가중치가 어딘가 남아 있으면 몇 년 뒤 더 정교한 검사 기법에 걸릴 수 있고, 학습 데이터 기록도 흔적을 남긴다. 데이비드슨은 오히려 이 '들킬 위험'이 억지력이 되며, 반대로 행정부 쿠데타는 모든 일을 정당하다고 주장하며 공개적으로 진행하기 때문에 그런 위험이 적다고 지적한다.

대담 후반부는 대응책으로 이어진다. 기술 쪽에서는 사람이 의도적으로 숨긴 슬리퍼 에이전트와 비밀 충성을 탐지하는 연구, 그리고 가중치를 읽어가는 유출이 아니라 학습 과정에 몰래 손대는 편집 접근을 막는 정보보안이 비어 있는 영역으로 꼽힌다. 제도 쪽에서는 투명성 요구를 실제 계약 문구로 옮기는 작업, 서로 다른 개발사의 AI가 상호 감시하도록 이중 배치하는 구상이 언급된다. 다만 '법을 그대로 따르는 AI'가 답이라고 단정하지는 않는다. 역사에는 불법적 이탈이 좋은 결과로 이어진 사례가 있고, 정부와 군을 자동화하는 순간 그 질문에 대한 답이 암묵적으로 고정되기 때문이다.

주요 인사이트

• 쿠데타를 '기대의 조정 문제'로 보면 AI가 왜 판을 바꾸는지가 분명해진다. 여론과 군 내부의 기대를 흔들 수 있는 도구가 생기면 하드파워의 비율보다 정보 통제가 더 결정적인 변수가 된다.
• 데이비드슨은 AI 설득력 연구에 놀랐다고 말한다. 특정 커뮤니티에서 AI가 사람 상대로 상위권 설득력을 보였다는 연구가 여럿 있고, 최상위 연구기관이 아닌 곳에서도 그 결과가 나왔다는 점이 오히려 시사적이라는 것이다.
• 반면 전략 기획 능력은 아직 덜 왔다고 본다. 코딩이나 수학처럼 자동 채점이 쉬운 영역과 달리, 복잡한 사회정치 상황에서 행동의 결과를 학습하기가 훨씬 어렵기 때문이다.
• AI 정렬을 푸는 것이 이 위험을 없애지는 않는다. 오히려 '사람 말을 잘 듣게 만드는 기술' 자체가 단독 충성의 전제 조건이다. 정렬 연구가 기여하는 지점은 투명성, 평가, 내부고발 보호처럼 감시 가능성을 높이는 부분이다.
• '쿠데타 방지'라는 표현은 특정 인물을 지목하는 것처럼 들려 합의를 만들기 어렵다. 데이비드슨은 시스템 무결성, 견제와 균형, 법치의 견고함 같은 프레임이 실제 정책 논의에서 더 유용하다고 말한다.

자주 묻는 질문

관련 AI 소식