AI 편향과 알고리즘 감사: 메러디스 브루사드가 말하는 차별하는 AI와 테크노 쇼비니즘

핵심 메시지

• 전산 시스템이 인종·성별·장애에 따라 차별적으로 작동하면 그것은 잠깐의 오류가 아니라 더 큰 사회기술적 문제를 알리는 지표로 다뤄야 한다.
• 자동 주택담보대출 승인 알고리즘은 유색인 신청자를 백인 신청자보다 40~80% 더 자주 거절했고, 일부 대도시권에서는 격차가 250%를 넘었다.
• 편향이 덜한 데이터로 시스템을 개선할 수는 있지만, 차별이 없었던 주택 시장의 데이터는 애초에 존재하지 않는다.
• 기술적 해법이 다른 해법보다 우월하다고 믿는 '테크노 쇼비니즘' 자체가 하나의 편향이며, 때로는 AI를 만들지 않는 것이 올바른 선택이다.
• 알고리즘 감사는 입력과 출력을 놓고 최악의 시나리오가 무엇이며 얼마나 자주 일어나는지를 확인하는 작업으로, 이미 공개된 방법론과 오픈소스 도구가 있다.

쉽게 이해하기

메러디스 브루사드는 뉴욕대 부교수이자 NYU 공익기술연합의 연구 디렉터로, 컴퓨터 과학자로 출발했다가 저널리스트로 방향을 바꾼 이력을 갖고 있다. 지금 그가 하는 일은 숫자에서 이야기를 찾고 숫자로 이야기를 전하는 데이터 저널리즘이며, 그 안에서도 코드를 직접 써서 취재하는 '알고리즘 책무성 보도'를 한다. 블랙박스를 조사하기 위해 코드를 짜기도 하고, 사회 문제를 들여다보기 위해 직접 알고리즘을 만들기도 한다.

그의 책 'More Than a Glitch'라는 제목은 바로 이 관점에서 나왔다. 컴퓨터 용어에서 글리치는 잠깐 일어나는 이상 현상, 그리 중요하지 않은 무언가를 뜻하는데 AI가 인종·성별·장애를 이유로 차별적으로 작동할 때 사람들은 '그냥 글리치'라며 넘어간다. 브루사드의 주장은 그런 일이 벌어지면 코드를 고치는 문제가 아니라 사회 전체를 고치는 문제로 봐야 한다는 것이다. 그가 드는 초기 사례가 구글 이미지의 라벨링 사고인데, 흑인 남성의 사진에 고릴라 라벨이 붙는 문제가 알려지자 구글은 이미지 인식에 깔린 문제를 다루는 대신 가능한 라벨 목록에서 고릴라를 빼는 것으로 마무리했다.

두 번째 사례는 알고리즘 책무성 보도 매체 더마크업이 조사한 자동 주택담보대출 승인 알고리즘이다. 이 시스템은 유색인 신청자를 백인 신청자보다 40~80% 더 자주 거절했고, 일부 대도시권에서는 그 격차가 250%를 넘었다. 학습 데이터가 과거에 대출을 받은 사람들의 기록인 이상, 레드라이닝과 극심한 주거 분리의 역사를 가진 미국에서 이런 결과가 나오는 것은 놀랄 일이 아니라는 설명이다. 편향이 덜한 데이터가 있으면 개선할 수 있느냐는 물음에 그는 '물론'이라고 답하면서도, 그런 데이터는 존재하지 않는다고 잘라 말한다.

그렇다면 무엇을 해야 하는가. 브루사드는 먼저 'AI를 만들지 말아야 할 때도 있다'는 사실을 받아들여야 한다고 말한다. 그다음이 알고리즘 감사로, 입력과 출력을 놓고 무엇이 최악의 시나리오인지 묻고 그 시나리오가 얼마나 자주 벌어지는지 평가하는 작업이다. 그는 와이어드와 라이트하우스 리포츠가 함께 낸 'Suspicion Machines' 조사의 50쪽짜리 방법론 부록을 권하고, 캐시 오닐이 운영하는 감사 회사 ORCAA와 Fairness 360 같은 오픈소스 도구도 소개한다. 조직들이 감사를 하지 않는 이유는 이미 있다고 짐작하는 문제를 마주하고 싶지 않기 때문이며, 평가하지 않으면 없는 척할 수 있다는 법무적 계산이 뒤에 있다는 것이 그의 진단이다.

인터뷰의 상당 부분은 그가 '테크노 쇼비니즘'이라 이름 붙인 편향에 할애된다. 기술적 해법이 다른 해법보다 우월하다고 반사적으로 믿는 태도인데, 종이를 자르는 데 원형톱을 꺼내지 않듯 기술을 더 많이 쓴다고 이기는 것이 아니라는 이야기다. 의료 영상 분야가 대표적 사례로 등장하는데, 그는 몇 해 전 뉴요커에 실린 제프리 힌턴의 '2년이면 영상의학은 사라진다'는 예측이 틀렸는데도 정정 대상이 아니라는 이유로 계속 반복된다고 지적한다. 실제로 자신의 유방촬영 영상을 오픈소스 AI에 넣어 봤더니 진단이 아니라 정지 이미지에 관심 영역 상자를 그리고 0과 1 사이 숫자를 내놓는 것이 전부였고, 암 검출 시스템이 위양성 쪽으로 조정되는 만큼 그 대가는 몇 주 동안 불안 속에서 추가 검사를 받는 사람들이 치른다고 덧붙였다.

주요 인사이트

• 차별적 결과를 '글리치'라고 부르는 순간 조직은 근본 원인을 들여다볼 이유를 잃는다. 용어 선택 자체가 책임의 크기를 결정한다.
• 대출 승인 알고리즘 사례는 데이터 품질 문제가 아니라 역사 문제다. 차별이 없었던 과거의 기록이 존재하지 않는 영역에서는 '더 나은 데이터'라는 해법 자체가 성립하지 않는다.
• 감사를 회피하는 가장 큰 동력이 기술적 어려움이 아니라 법적 책임 회피라는 지적은, 규제 설계에서 감사 의무화가 왜 중요한지를 설명해 준다.
• AI 진단 도구의 실제 출력이 '상자와 숫자'라는 사실은, 기술 자체보다 그것을 둘러싼 진료 절차와 통보 방식이 결과를 좌우한다는 점을 보여 준다.
• 브루사드는 대형 언어모델이 커먼 크롤처럼 널리 공개된 데이터에서 같은 물을 길어 온다고 지적한다. 무엇이 들어갔는지 전혀 모른다는 말보다, 무엇이 들어갔는지 알기 때문에 예상되는 문제라는 관점이 더 정확하다는 것이다.

자주 묻는 질문

관련 AI 소식