알고리즘 검열과 공감형 AI: 데 카이가 말하는 21세기 지식 공유지와 넥 정보 문제

핵심 메시지

• AI 위험 논의는 통제를 벗어난 AI에 집중되지만, 발표자는 그보다 먼저 인간이 인간을 파괴할 가능성이 크다고 본다.
• 추천 알고리즘은 화면에 무엇이 뜰지뿐 아니라 무엇이 결코 뜨지 않을지를 결정하며, 이것이 양극화와 상호 몰이해를 키운다.
• 정보 장애는 오정보·허위정보·악의적 정보 셋으로 이야기되지만, 나쁜 의도 없이 퍼지는 반쪽 진실이라는 네 번째 칸이 빠져 있다.
• 공동체가 형성되는 방식 자체를 AI가 좌우하게 되면서, AI는 21세기의 지식 공유지이자 다른 모든 공유지의 상위 층이 됐다.
• 필요한 것은 감정적 공감이 아니라 인지적 공감, 곧 자기 결정이 사람에게 어떤 영향을 주는지 인식하는 AI다.

쉽게 이해하기

홍콩과기대와 버클리 국제컴퓨터과학연구소에 몸담고 공감형 AI 연구소를 세운 데 카이는 45년간 AI를 다뤄온 연구자다. 그는 강연을 AI에 대한 정의부터 다시 세우며 시작했다. AI는 트랜스포머나 대규모 언어모델이 아니라 마음을 연구하는 분야이며, 우리 뇌가 하는 일의 대부분을 차지하는 무의식적 처리 과정을 수학적으로 기술해 구현해보는 작업이라는 것이다. 그래서 AI를 이해하는 일은 공학을 이해하는 만큼이나 우리 자신을 이해하는 일이라고 그는 말했다.

그가 꼽은 당면 위험은 영화에서 그리는 반란하는 AI가 아니다. 그는 이를 '독성 AI 칵테일'이라고 불렀다. 한 축은 추천 알고리즘이다. 레딧, 유튜브, 인스타그램, 검색과 챗봇의 알고리즘이 하루에도 수백 번씩 각자에게 무엇을 보여줄지 결정하는데, 그보다 중요한 것은 무엇을 끝내 보여주지 않을지를 결정한다는 점이다. 서로 다른 집단의 이야기가 닿지 않으면 이해하지 못하는 것에 대한 공포가 자라고, 그 공포가 혐오와 분노를 거쳐 상대를 인간 이하로 취급하는 단계로 넘어간다는 것이 그의 진단이다.

다른 한 축은 무기다. 그는 20세기의 두 차례 세계대전이 벌어졌을 때는 원자폭탄조차 없었지만 지금은 사정이 다르다고 지적했다. 드론과 위성 표적, 극초음속 미사일 항법, 사이버전에 더해 계산생물학의 발전으로 유전자를 조작한 생물무기 제작이 사실상 상품화됐다는 것이다. 1990년대에는 수십억 달러가 드는 국가급 사업이었던 일을 이제는 시중에서 구할 수 있는 부품과 재료로 할 수 있고, 핵물질처럼 추적할 물질도 없다고 그는 말했다.

그가 인류의 생존 조건을 설명하는 방식은 '폭발 반경'이다. 인류는 스스로 만든 무기의 폭발 반경보다 빨리 달아날 수 있었기 때문에 지금까지 살아남았다는 것이다. 핵무기는 끔찍하지만 한 번에 대도시 하나를 파괴하고 나머지 사람들은 살아남는다. 반면 유전자 조작 생물무기의 폭발 반경은 종 전체다. 코로나19는 비교적 약한 감염병이었는데도 지구 어디에서도 벗어날 수 없었다는 점을 그는 근거로 들었다.

정보 문제로 넘어가면서 그는 익숙한 분류의 빈틈을 짚었다. 흔히 정보 장애는 오정보, 허위정보, 악의적 정보 세 가지로 이야기된다. 앞의 둘은 거짓이고 차이는 퍼뜨리는 사람이 누구냐일 뿐이며, 악의적 정보는 거짓이 아니라 반쪽 진실이다. 그런데 '거짓이냐 반쪽 진실이냐'와 '누가 퍼뜨리느냐'라는 두 기준을 교차하면 네 칸이 나오는데 이름이 붙은 것은 셋뿐이다. 그는 빠진 칸, 즉 악의 없이 퍼지는 반쪽 진실을 '넥 정보'라고 이름 붙였다. 감춰진 나머지 절반을 우리 뇌가 믿고 싶은 대로 채워 넣기 때문에 완전한 거짓보다 더 오해를 굳힌다는 설명이다. 셋으로 분류가 굳어진 것 자체가 셋씩 묶으면 그럴듯하게 느끼는 인지 편향의 결과라는 지적도 덧붙였다.

결론에서 그는 이 문제를 공유지 개념과 연결했다. 공유지란 지식이나 인터넷처럼 공동체가 함께 쓰는 자원이고, 그 공동체가 지속가능한 관리와 공평한 접근을 위한 규범과 규칙을 스스로 만든다. 그런데 21세기의 공동체는 널리 퍼진 아이디어를 중심으로 만들어지고, 어떤 아이디어가 퍼질지는 AI가 정한다. 따라서 AI는 21세기의 지식 공유지이자 다른 모든 공유지를 결정하는 상위 층이 됐다는 것이다. 그가 던진 질문은 그렇다면 이 알고리즘이 따르는 규범과 규칙은 누가 정하느냐다. 지금은 소수의 기계학습 엔지니어와 기업 임원이며 시민도, 선출된 대표도 아니다. 그래서 그는 감정적 공감이 아니라 자기 결정이 사람에게 어떤 영향을 주는지 의식하는 인지적 공감을 AI에 심어야 하고, 그 기준을 함께 정하는 집단적 과정이 필요하다고 주장했다.

주요 인사이트

• AI 위험 논의의 초점을 자율성 상실에서 이미 벌어진 주의력 통제로 옮긴다는 점이 이 강연의 핵심이다. 발표자는 물리적 통제권을 걱정하기 전에 무엇을 알게 될지에 대한 통제권은 20년 전에 이미 넘어갔다고 본다.
• '무엇을 보여줄지'가 아니라 '무엇을 결코 보여주지 않을지'로 관점을 옮기면 문제의 성격이 달라진다. 보이지 않는 것은 검증할 수도, 문제 제기할 수도 없기 때문에 당사자가 인지조차 못 한다.
• 악의 없이 퍼지는 반쪽 진실이라는 범주를 새로 세운 것은 실용적이다. 지금의 대응은 대체로 거짓 판별과 악의적 행위자 차단에 맞춰져 있어, 이 칸에 해당하는 정보는 어떤 필터에도 걸리지 않는다.
• 분류가 세 가지로 굳어진 이유를 인지 편향에서 찾은 대목은, 알고리즘 편향을 연구하는 쪽도 같은 편향에서 자유롭지 않다는 자기 반성으로 읽힌다.
• AI를 공유지 관점에서 볼 경우 요구되는 것은 성능 규제가 아니라 거버넌스다. 규범을 만드는 주체가 공동체여야 한다는 공유지의 정의가 그대로 요구 조건이 되기 때문이다.

자주 묻는 질문

관련 AI 소식