AI와 인간 주체성: 옥스퍼드 크리스토퍼 서머필드가 짚은 설득력·의존·통제력 상실

핵심 메시지

• 세상을 바꾸는 힘은 지능 자체가 아니라 시스템에 대한 영향력에서 나오며, 둘은 같은 것이 아니다.
• 주체성은 '자유'(도달할 수 있는 상태의 다양성)와 '통제'(내 행동이 예측한 결과로 이어지는 정도)의 맞교환으로 나눠 볼 수 있다.
• 대형 모델은 이미 상당히 설득적이어서, 실험 참가자의 견해가 10~20%포인트 움직였다.
• AI 조언을 받은 참가자의 75%가 실제로 그 조언대로 행동했다고 답했다.
• 관계 지향적으로 조정된 챗봇은 시간이 갈수록 호감도가 떨어졌는데도 끊기 어렵다는 응답은 늘어, 의존의 전형적 패턴을 보였다.

쉽게 이해하기

강연은 컴퓨터과학과 사회과학이 AI를 두고 서로 다른 언어를 쓴다는 지적에서 시작한다. 한쪽은 모델 자체를 연구 대상으로 삼고 초인적 조수를 만든다고 보고, 다른 쪽은 AI를 권력 집중이나 민주주의 약화 같은 흐름의 연장선으로 본다. 발표자는 양쪽이 각각 절반씩 맞다고 정리한다. 변화는 실제로 일어나지만, 그 통로는 모델의 마법 같은 능력이 아니라 기존 사회 구조라는 것이다.

핵심 주장은 통념을 뒤집는다. 지능이 높을수록 힘이 세다는 전제는 그럴듯해 보이지만, 실제로 세상에서 영향력을 가진 사람들이 반드시 수학 올림피아드 우승자는 아니다. 발표자는 지능이라는 개념 자체가 20세기 초에 만들어진 사회적 구성물이며 그 출발도 떳떳하지 않았다고 지적하고, 진화가 선택한 것은 지능이 아니라 주체성이라고 말한다.

주체성은 형식적으로 '임파워먼트', 곧 현재 행동이 미래 상태에 얼마나 영향을 주는가로 정의된다. 이 값은 두 항으로 나뉜다. 하나는 도달 가능한 상태가 얼마나 다양한가, 즉 자유다. 다른 하나는 내 행동에 뒤따르는 결과가 얼마나 예측 가능한가, 즉 통제다. 혼자 있으면 통제는 크지만 자유는 작고, 함께하면 자유는 커지지만 타협 때문에 통제가 줄어든다.

발표자는 20세기 기술철학자 루이스 멈퍼드를 빌려 도구를 둘로 나눈다. 망치나 자전거, 세탁기처럼 개인의 힘을 키우는 '민주적 기술'과, 공장이나 사법 체계, 소셜미디어처럼 사람을 서로 연결하되 권력을 조직 쪽으로 옮기는 '권위주의적 기술'이다. 지금은 AI가 개인을 돕는 도구처럼 보이지만, 사회에 깊이 박히면서 후자로 변할 위험이 있다는 것이다.

그는 이미 초인적 정보처리 시스템이 존재한다고 말한다. 기업과 정부다. 세상이 복잡해질수록 권력은 개인에게서 이런 시스템으로 옮겨 가고, 그 결과가 불안과 제도 불신의 급증으로 나타난다. 수백 개 나라에서 수백만 건씩 모은 여론조사 데이터가 지난 20~30년간의 이 추세를 보여 준다는 것이다.

강연 후반은 직접 수행한 네 가지 실험으로 채워진다. 설득력, 비밀 정보 추출, 조언 추종, 그리고 관계 형성이다. 결론은 AI가 이미 사람의 판단에 상당한 영향을 미치고 있으며, 그 영향의 방식이 반드시 투명하지 않다는 것이다.

주요 인사이트

• 설득력은 모델 크기만의 함수가 아니었다. 오픈소스 모델에서는 규모에 따라 설득력이 거의 직선으로 늘었지만, 대형 상용 모델들에서는 같은 시기 같은 크기라도 편차가 컸다. 개발사가 어떻게 학습시켰는지가 더 결정적이라는 뜻이다.
• 노트북 한 대로 학습할 수 있는 작은 모델을 설득 데이터로 미세조정하자 당시 최고 수준 모델만큼 설득력을 갖게 됐다. 규제의 초점을 대형 개발사에만 두기 어려운 이유다.
• 모델이 사람을 설득하는 가장 효과적인 수단은 사실을 대량으로 쏟아내는 것이었다. 문제는 최신 상용 모델일수록 그 주장들의 사실 정확도가 오히려 떨어졌다는 점이다. 전문 팩트체커를 기준으로 삼은 결과다.
• 정체를 숨기는 게임에서 AI 탐정은 사람 탐정보다 정확했고, 대화가 더 깊은 수준의 자기 노출로 이어졌다. 사기나 신원 도용 같은 범죄에 곧바로 연결될 수 있는 능력이다.
• 관계형 챗봇 연구에서 호감은 줄어드는데 끊기는 더 어려워지는 분리 현상이 관찰됐다. 이는 도박이나 약물 같은 의존의 특징적 패턴과 같다.
• 발표자는 기술 결정론에 동의하지 않는다고 말한다. 다만 개인의 선의와 조직 차원의 인센티브가 어긋나는 구조가 문제이며, 이는 기술 기업만의 문제가 아니라고 덧붙였다.

자주 묻는 질문

관련 AI 소식