AI 안전과 민주주의의 관계: 제이미 프리스톤이 말하는 조율 능력과 권력 집중의 위험

핵심 메시지

• 인류사에서 협력이 예외가 아니라 기본값이 된 것은 언어라는 조율 수단이 등장해 아래쪽이 뭉칠 수 있게 됐기 때문이다.
• 민주주의는 대중매체와 도시화 같은 새로운 조율 기술로 그 협력의 균형을 한 번 더 넓힌 두 번째 사건이다.
• AI는 반대로 아래쪽의 조율 능력을 깎으면서 위쪽이 다수를 필요로 하지 않게 만드는 첫 기술이 될 수 있다.
• 따라서 AI 안전의 핵심 과제는 개별 위험 목록이 아니라 조율 능력 자체, 즉 민주주의를 지키는 일이어야 한다는 것이 발표의 결론이다.
• 발표자는 초지능을 만드는 일이 인간에게 안정적인 균형이 되는 경로를 찾지 못했다며, 만들지 말자는 것이 자신의 최상위 권고라고 밝혔다.

쉽게 이해하기

호주 AI 안전 포럼 2026에서 독립 연구자 제이미 프리스톤이 13분짜리 강연을 했다. 그는 2024년까지 학계에서 철학을 하다가 지금은 컨설턴트로 일하며 AI와 민주주의의 접점을 독립적으로 연구한다고 자신을 소개하고, 정치철학 전공자가 아닌 만큼 정보 전달보다는 도발에 가까운 이야기를 하겠다고 미리 밝혔다. 출발점은 이른바 '점진적 무력화' 논의였다. 인간이 기관과 정부에 덜 중요해질수록 인간의 가치가 떨어지고, 정부든 비국가 행위자든 인간을 배려할 유인이 줄어든다는 분석이다. 그는 역사를 냉정하게 보면 시민이 별로 가치 없게 여겨질 때 그 시민들에게 좋았던 적이 없다는 점을 지적하며, 자신도 다른 경로로 출발해 비슷한 결론에 이르렀다고 말했다.

그가 꼽은 인류사의 첫 번째 사건은 언어의 등장이다. 그 이전의 영장류 사회는 지배 위계였다. 우두머리 한 명이 개별 종속자보다 강하고, 종속자들이 힘을 합치면 끌어내릴 수 있지만 서로 뜻을 맞출 방법이 없었다. 언어가 그 조율 문제를 풀면서 인간만의 '역지배 위계'가 만들어졌다. 아래쪽이 뭉쳐 위쪽에서 약속과 더 나은 대우를 끌어낼 수 있게 되자 협력이 어쩌다 생기는 예외가 아니라 균형 상태가 됐다는 것이다.

물론 언어가 있다고 협력이 늘 되는 것은 아니다. 사회가 작은 부족을 넘어 커지면 위계에 층이 더해지고, 엘리트 계층만 자기들끼리 조율해 지배자에게서 더 나은 조건을 얻어내는 구조가 된다. 그 아래에는 여전히 착취당하는 다수가 남는다. 그가 꼽은 두 번째 사건인 민주주의는 대중매체와 공론장, 도시화처럼 사람들을 모으고 공통의 인식을 만들어주는 새로운 조율 기술의 묶음이었고, 그 결과 협력의 균형이 훨씬 넓게 확장됐다.

문제는 AI가 이 흐름을 되돌릴 수 있다는 것이다. 그는 AI로 강화된 독재를 이렇게 그렸다. 엘리트의 힘이 커져 저항하려면 훨씬 큰 연합이 필요해지는데, 동시에 아래쪽이 서로 조율할 능력은 깎여나간다. 이미 그런 방향으로 가고 있는 사례로 중국의 전개를 언급했고, 호주에서도 국가안보 인프라와 감시 기술을 파는 대형 기술기업이 점점 얽히고 있다고 짚었다. 반대로 피라미드 꼭대기를 노리는 쪽에서는 지금 추세를 가속할 이유가 충분하다는 점도 덧붙였다.

결론은 단순했다. 피라미드의 아래나 중간에 있는 사람이라면 협상력을 유지하기 위해 조율할 새로운 방법을 찾거나 옛 방법을 되살려야 한다는 것이다. 질의응답에서 초지능 개발을 멈추자는 뜻이냐는 질문을 받자 그는 그렇다고 답했다. 진화 게임이론을 포함한 자기 배경에서 볼 때 그것이 인간에게 안정적인 균형이 되는 경로를 찾지 못했고, 누군가 자신을 설득해 그 생각을 바꿔준다면 오히려 좋겠다는 말도 함께 남겼다.

주요 인사이트

• 이 강연은 AI 위험을 '모델이 무엇을 할 수 있는가'가 아니라 '사람들이 여전히 서로 뭉칠 수 있는가'라는 질문으로 바꿔놓는다.
• 협력은 인간의 본성이 아니라 조율 수단이 만들어낸 균형이라는 관점을 택하면, 그 수단이 훼손될 때 협력이 되돌아갈 수 있다는 결론이 자연스럽게 따라온다.
• AI 안전을 정렬이나 통제 기술의 문제로만 놓으면 권력 집중이라는 축이 빠진다. 발표자는 그 축을 최우선으로 두자고 주장한다.
• 조율 능력을 지키는 전략에도 상한은 있다. 아래쪽이 아무리 잘 뭉쳐도 의미가 없어지는 수준의 초지능이 등장한다면 이 처방 자체가 무력해진다는 점을 발표자도 인정했다.

자주 묻는 질문

관련 AI 소식