옥스퍼드 철학자 카리사 벨리스 인터뷰, AI 예측이 미래를 맞히는 대신 만들어내는 이유

핵심 메시지

• 머신러닝은 과거 데이터만 갖고 빈칸을 채우며 미래가 과거와 닮았다고 가정한다. 머신러닝 용어에서 완벽한 예측기를 '오라클'이라 부르는 것은 우연이 아니다.
• 개인에 대한 예측은 종종 예측이 아니라 판결이 된다. 채용 알고리즘이 한 사람을 부적합하다고 판정하면 비슷한 데이터를 쓰는 다른 회사도 같은 결론을 내려 예측이 스스로 실현된다.
• 대규모 언어 모델은 진실이 아니라 '사람이 받아들일 만한 응답'을 예측하므로, 철학자 해리 프랭크퍼트가 말한 의미의 헛소리에 가장 가깝다.
• '내일이면 모두가 모든 일에 AI를 쓸 것'이라는 말은 세계에 대한 서술처럼 들리지만 실제로는 위장된 권력 행사이며, 사람들이 그 말을 믿고 행동하는 순간 예언이 실현된다.
• 해답은 예측이 아니라 준비에 있다. 미래가 불확실하다는 불안은 곧 미래에 개입할 여지가 남아 있다는 신호이기도 하다.

쉽게 이해하기

옥스퍼드 대학 AI 윤리 연구소가 진행하는 팟캐스트에서 캐롤라인 그린 박사가 철학 부교수 카리사 벨리스와 신간 『Prophecy』를 놓고 대화한다. 벨리스는 『Privacy is Power』로 이미 프라이버시와 기술 권력 논의를 이끌어 온 학자로, 이번 책에서는 AI를 예측 기계로 규정하고 그 예측이 만들어 내는 권력 관계를 정면으로 다룬다.

벨리스는 이 책을 '테뉴어 이후의 책'이라고 부른다. 신분이 보장되지 않으면 할 수 없는 말이 있고, 학자에게 신분 보장을 주는 이유가 바로 그런 말을 하라는 데 있다는 것이다. 그러면서 테뉴어를 가졌으면서도 민주주의를 지키기 위해 필요한 말을 하지 않는 학자들이 많다고 지적한다.

책의 출발점은 인간의 불안이다. 사람은 자신이 죽는다는 사실을 알 만큼 똑똑하고, 그래서 내일 일자리가 남아 있을지, 가족과 나라가 어떻게 될지 밤새 걱정한다. 벨리스는 델포이의 신탁부터 중세 점성술사, 그리고 오늘날의 기술 기업까지 이 불안을 파고드는 구조는 같다고 본다. 예언자에게 미래를 물으면 잠깐 안도감을 얻지만, 최악의 경우 그들은 당신이 아니라 자신에게 이로운 미래를 대신 써 준다.

구체적인 위험은 채용에서 잘 드러난다. 알고리즘이 이력서를 걸러 한 사람을 부적합 후보로 판정하면, 사실상 같은 데이터베이스를 쓰는 다른 회사들도 같은 판단을 내리기 쉽다. 그 사람이 결국 취업하지 못하면 기업은 '우리 알고리즘의 정확도가 99.9%'라고 말할 수 있지만, 이는 예측한 현실을 스스로 만들어 낸 것에 가깝다. 아마존이 지난 10년간의 합격자 데이터로 학습시킨 알고리즘이 여성을 차별하게 된 사례도 같은 구조다.

벨리스는 정신 건강과 관계 영역에도 선을 긋는다. AI의 공감은 공감이 아니며 언어를 흉내 낼 뿐이라는 것이다. 그는 롤링스톤의 마일스 클리 기자가 보도한, 챗봇과 대화하다 망상에 빠지는 사람들의 사례를 들며, 우리를 제정신으로 붙잡아 주는 것은 '그건 말이 안 된다'고 반박해 주는 친구들이라고 말한다. 늘 듣기 좋은 답만 주는 시스템은 그 역할을 대신할 수 없다.

마지막으로 그는 효과적 이타주의와 장기주의, 그리고 실존적 위협 담론을 비판한다. 무한한 미래를 현재와 비교하면 언제나 무한이 이기고, 그러면 지금 벌어지는 어떤 일도 사소해 보이게 된다는 것이다. 실존적 위협 역시 전면 감시 같은 극단적 조치를 정당화하는 만능 카드로 쓰인다고 지적한다. 대안으로 그는 예측이 아닌 준비, 그리고 개인에 대한 예측의 범위를 제한하는 규범을 제안한다.

주요 인사이트

• 예측은 서술처럼 들리지만 공적 영역에서는 대개 권력 행사다. 기술 기업 임원이 미래를 말할 때 그는 세계를 계산하는 것이 아니라, 자신에게 유리한 미래를 대신 실현해 달라고 요청하고 있다는 것이 벨리스의 진단이다.
• AI는 '이상한 것'을 다루지 못한다. 통계 분석이기 때문에 평범한 것을 잘 다루고, 남들과 다른 이력은 패턴에 맞지 않는다는 이유로 불이익을 받는다.
• 거짓말쟁이는 진실을 알아야 거짓말을 할 수 있지만, 헛소리하는 사람은 진실 자체에 관심이 없다. 벨리스는 이 구분을 빌려 언어 모델이 민주주의에 더 위험한 쪽에 가깝다고 본다.
• 민주주의는 투표만이 아니라 시민들 사이의 대화다. 그 대화의 자리를 챗봇에게 넘기면 민주주의를 기업에 넘기는 셈이 되는데, 기업의 목표 목록에 민주주의는 들어 있지 않다.
• 전문가라고 해서 자기 분야의 미래를 더 잘 맞히지는 못한다. 벨리스는 '모른다'고 말할 줄 아는 전문가를 신뢰해야 하며, 자극적인 전망을 내놓는 쪽이 주목받는 구조 자체를 경계해야 한다고 말한다.
• 고대 로마에는 타인의 죽음을 예언하는 것을 금지하는 법이 있었다. 그런 예언이 자기실현적으로 작동한다는 것을 알았기 때문이며, 벨리스는 오늘날에도 누가 누구에 대해 무엇을 예측해도 되는지 공적 논의가 필요하다고 주장한다.

자주 묻는 질문

관련 AI 소식