캐스 선스타인 '리버럴 AI' 강연 정리: 편향 없는 예측과 끝내 예측되지 않는 것들

핵심 메시지

• 인간의 판단은 체계적으로 편향돼 있고 같은 사안에도 들쭉날쭉하기 때문에, 두 결함이 없는 AI가 보석 심리나 심장질환 검사 판단에서 사람보다 정확할 수 있다.
• AI는 사람이 이름조차 붙이지 못했던 편향을 새로 찾아내기도 한다. '현재 기소된 범죄 편향'과 '머그샷 편향'이 그런 사례로 제시됐다.
• 반대로 두 사람이 서로에게 끌릴지, 어떤 노래가 히트할지, 혁명이 일어날지처럼 사회적 상호작용이 결과를 만드는 영역에서는 AI도 사실상 동전 던지기 수준에 머문다.
• 하이에크가 말한 사회주의 계산 논쟁이 곧 오늘의 AI 계산 논쟁이며, 예측의 실패는 그 자체로 자유의 근거가 된다.
• 누가 성공하고 누가 잊히는지를 가르는 요인 상당수가 도덕적으로 임의적이라는 점에서, 예측 불가능성 논의는 롤스의 정의론과 이어진다.

쉽게 이해하기

옥스퍼드 AI 윤리연구소의 다섯 번째 연례강연에 나선 하버드대 캐스 선스타인 교수는 '리버럴 AI'라는 제목이 모순어법처럼 들리는지 묻는 것으로 강연을 열었다. 그는 자유를 옹호해 온 세 갈래 논변을 먼저 정리했다. 각자가 자기 삶에 대해 누구보다 잘 안다는 존 스튜어트 밀의 인식론적 논변, 강제는 사람을 생각하고 가치를 판단하는 존재에서 도구로 격하시킨다는 하이에크의 존엄 논변, 그리고 계획자는 흩어져 있는 지식을 결코 다 알 수 없다는 하이에크의 지식 논변이다.

첫 번째 주장은 밀에 대한 반론이다. 사람의 판단은 대표성 휴리스틱, 현재 편향, 낙관 편향 같은 인지적 편향에 감염돼 있고, 같은 사안을 두고도 컨디션에 따라 결론이 달라진다. 그는 책을 좋아하는 스물두 살 청년이 사서일지 영업직일지 물었을 때 주요 언어모델들이 모두 사서라고 답하며 기저율을 무시했다는 실험도 함께 소개해, 편향이 학습 데이터를 통해 모델에도 들어올 수 있음을 짚었다.

그럼에도 실제 판단 영역에서는 AI가 사람을 앞선다는 근거가 제시됐다. 재판 전 도주 가능성 예측에서 알고리즘은 판사보다 정확했고, 그 차이는 판사들이 현재 기소된 범죄에 지나친 비중을 두거나 피고인의 인상에 좌우되기 때문이라는 것이다. 심장질환 검사 여부를 정하는 의사들도 현재 증상과 인구통계에 과도한 가중치를 뒀다. 정확도가 올라가면 같은 수의 구금으로 범죄를 줄이거나 같은 수의 생명을 구하면서 검사를 크게 줄일 수 있으므로, 걸린 이해관계가 매우 크다고 강조했다.

강연의 후반부는 반대 방향으로 향한다. 동전 던지기는 무작위가 아니라 결정론적이지만 데이터가 없어 예측되지 않는다. 마찬가지로 데이트에서 호감이 생길지, 어떤 곡이 성공할지는 예측되지 않는다. 참가자들이 실시간 인기 순위를 볼 수 있게 한 음악 실험에서는 통제집단의 품질 순위가 거의 재현되지 않았고, 초반의 우연한 인기가 결과를 갈랐다. 혁명 역시 사람들이 서로 다른 문턱값을 갖고 있고 진짜 선호를 감추기 때문에 예측되지 않는다고 했다.

이어진 질의응답에서는 알고리즘이 정말 중립적인가라는 반론이 나왔다. 선스타인은 의료비 지출을 대리 지표로 삼아 흑인 환자를 덜 아픈 것으로 판정한 알고리즘 사례에 동의하면서, 그것은 경험적으로 검증하고 교체할 수 있는 문제라고 답했다. 블랙박스 문제에 대해서는 작동 원리를 모르더라도 출력을 실시간으로 감시할 수 있다고 했고, 규제의 출발점으로는 영국에 이미 존재하는 표현의 자유 원칙을 언어모델에 그대로 적용해 보자고 제안했다. 마지막으로 그는 정확도가 전부는 아니며, 의사나 판사와 사람으로서 마주하는 경험 자체가 갖는 가치를 인정해야 한다고 덧붙였다.

주요 인사이트

• 판사 전체를 보면 알고리즘이 우세하지만 상위 10%의 판사는 AI를 능가한다. 강연자는 그 이유를 피고인을 직접 마주하며 얻는 국소적 정보, 즉 하이에크적 지식으로 추정했다.
• 머그샷 편향은 인종이나 성별 편향과는 별개로 검출됐다. 얼굴이 지저분해 보이는 피고인에게 불리한 판단이 내려졌고, 알고리즘은 그 요소에 큰 비중을 두지 않았다.
• 편향은 화제성이 있어 주목받지만, 같은 사안에 대한 판단이 그때그때 달라지는 '잡음'도 심각한 오류의 원천이며 모델에서는 온도를 낮추는 식으로 줄일 수 있다.
• 사람들이 AI 예측을 뒤집을 때 대체로 틀리지만 10% 정도는 옳으며, 정확도 대신 인간적 연결을 택하는 선택도 비합리적이라고만 볼 수는 없다.
• 선스타인은 AI를 위한 헌법이라는 발상 자체는 좋게 봤지만, 지금 나와 있는 시도들이 충분하다고는 보지 않는다고 밝혔다.

자주 묻는 질문

관련 AI 소식