AI 데이터 편향 사례 총정리: 서구 편중 학습이 만든 이미지·의료·금융 차별과 현지 대안

핵심 메시지

• 온라인 콘텐츠의 약 49%가 영어지만 영어를 유일한 모국어로 쓰는 인구는 세계의 4.5% 수준이라, 모델을 학습시키기 전부터 대표성 격차가 존재한다.
• 편향은 파이프라인 각 단계에서 더해지는 것이 아니라 곱해진다 — 수집·라벨링·학습을 거치며 눈덩이처럼 커지고 검증 단계에서는 걸러지지 않는다.
• 이미지 인식, 의료 기기, 신용평가라는 서로 다른 영역에서 같은 패턴이 반복된다: 시스템을 만든 사람들이 시스템이 적용될 사람들을 닮지 않았다.
• '객관적'이라는 말은 시스템을 검증에서 보호하는 방패로 쓰인다. 담당 공무원이 아니라 수식에 항의해야 하는 구조가 만들어진다.
• 규범을 만드는 자리도 편중돼 있다. OECD AI 원칙 참여국에 아프리카 국가는 없고, UN 자문에서도 실질 논의는 G7 중심으로 좁혀진다.

쉽게 이해하기

탄자니아에서 자라 말레이시아에서 공부하고 현재 영국에서 보안·컴플라이언스 컨설턴트로 일하는 마수마 샤리프는 NDC 코펜하겐 2026 무대에서 '서구 데이터가 세계를 규정할 때' 무슨 일이 벌어지는지를 다뤘다. 출발점은 통계가 아니라 생활의 장면들이다. 여섯 개 언어를 쓰는 그의 아버지가 알렉사에 날씨를 물으면 탄자니아 대신 엉뚱한 태즈메이니아 소식이 나오고, 모국어로 질문하면 맥락이 무너져 아예 영어로만 말하게 되는 친구들의 경험이 이어진다. 사람이 기기에 적응했을 뿐 기기는 사람에게 적응하지 않았다는 것이 문제의 축이다. 규모를 바꿔 보면 이 불편은 통계적 구조로 드러난다. 온라인 콘텐츠의 약 49%가 영어인 반면 영어만 쓰는 인구는 세계의 4.5% 남짓이고, 영어를 추가 언어로 쓰는 사람은 11억 명대, 모어 화자는 3억 7천만 명대다. 위키피디아 영어 문서가 710만 건인 데 비해 덴마크어는 수십만 건 수준이라는 비교도 제시됐다. 학습에 쓰이는 데이터는 중립적인 사실의 집합이 아니라 그것을 모은 사람들의 역사와 사각지대가 남긴 '문화적 산물'이라는 것이 발표의 전제다.

이어 데이터를 만드는 노동이 다뤄진다. 무엇이 얼굴이고 무엇이 폭력물인지 판단해 라벨을 붙이는 데이터 어노테이터는 케냐·필리핀·인도·베네수엘라 등에서 라벨 한 건에 1~5센트를 받고 일한다. 발표자는 타임지 조사에서 오픈AI용 유해 콘텐츠를 분류한 케냐 노동자들이 시간당 2달러 미만을 받고 정신건강 지원도 없었다는 보도와, 하청업체가 문제를 제기하자 프로젝트가 통째로 중단된 사례를 인용했다. 무엇이 '전문적인' 말투이고 '전문적인' 머리 모양인지 정의하는 순간 누군가의 기준이 데이터에 들어간다는 지적이 뒤따른다.

본론은 세 개의 사례 연구다. 2015년 구글 포토가 흑인 이용자와 친구의 사진에 '고릴라' 라벨을 붙였고, 구글은 모델을 다시 학습시키는 대신 해당 분류어를 제거했다. 2023년 뉴욕타임스 확인 결과 그 조치는 8년 뒤에도 그대로여서, 시스템은 치료된 것이 아니라 침묵당했다는 평가가 나온다. 조이 부올람위니의 연구에서는 어두운 피부의 여성 오류율이 34.7%인 반면 밝은 피부에서는 1% 미만이었다. 블룸버그가 스테이블 디퓨전으로 14개 직업에 대해 5천여 장을 생성한 실험에서는 고소득 직업이 밝은 피부의 남성으로, 저소득 직업이 여성과 어두운 피부로 쏠렸고 '수감자' 이미지의 80% 이상이 어두운 피부였다. 발표자는 이것이 현실을 반영한 것이 아니라 증폭한 것이라고 정리한다.

두 번째와 세 번째 사례는 생명과 돈으로 이어진다. 코로나19 시기 널리 쓰인 산소포화도 측정기는 빛이 피부를 통과하는 원리라 멜라닌 영향을 받는데, 2020년 12월 뉴잉글랜드 의학저널 연구에서 흑인 환자가 위험한 저산소 상태를 놓칠 확률이 백인의 약 3배로 나타났다. 의료 AI 데이터셋의 표준으로 쓰이는 피츠패트릭 척도는 1975년에 네 단계로 만들어졌고 가장 어두운 두 유형은 13년 뒤에야 추가됐다. 금융에서는 케냐에서 시작된 모바일 머니가 하루 5천만 건 규모로 돌아가는데도, 은행 계좌와 신용카드 이력을 전제로 만든 서구 신용평가 모델은 이 활동을 아예 보지 못해 성실한 이용자를 부적격으로 표시한다. 발표자는 엠코파·탈라·주모처럼 상환 행동과 모바일 데이터로 신용을 쌓는 현지 기업들을 들어, 글로벌 사우스는 서구 도구로 풀어야 할 문제가 아니라 자체 해법을 가진 시장이라고 말한다.

마지막으로 국가가 쓰는 알고리즘의 실패가 열거된다. 네덜란드 세무당국의 보육수당 부정수급 탐지 시스템은 이중국적을 사실상 위험 요인으로 취급해 약 2만 6천 가구를 잘못 지목했고 수천 명의 아동이 위탁 보호로 분리됐다. 호주의 로보뎃은 세무·복지 기록 대조만으로 채무 통지를 보내며 입증 책임을 시민에게 떠넘겼고, 왕립위원회는 이를 위법으로 결론지었다. 인도의 아드하르에서는 노동으로 지문이 닳거나 백내장이 있는 사람들이 생체 인증에 실패해 배급을 받지 못한 사례가 기록됐다. 발표자의 결론은 규제 이전에 두 가지 질문을 설계 단계에 넣자는 것이다. 이 AI는 누구의 세계를 배우고 있으며, 누구의 세계를 위해 쓰이길 바라는가.

주요 인사이트

• 편향을 '나쁜 의도'로 보면 대응을 놓친다. 발표자가 강조한 것은 악의가 아니라 누락이다 — 시스템은 특정 집단을 미워한 적이 없고 다만 제대로 보는 법을 배운 적이 없다.
• 구글 포토 사례의 교훈은 사후 조치의 한계다. 분류어를 지우는 것은 증상을 감추는 일이고, 8년 뒤에도 그 상태라는 사실은 근본 수정이 훨씬 비싸다는 것을 보여준다.
• 산소포화도 측정기는 AI가 아니지만 같은 문제의 조상이다. 측정 도구가 특정 집단을 기준으로 만들어지면 그 위에 쌓이는 모든 데이터와 모델이 같은 왜곡을 물려받는다.
• '전이' 문제는 원조에서 특히 위험하다. 베를린이나 보스턴 데이터로 조정된 의료 모델이 다르에스살람이나 다카에 그대로 배포되면 무료 지원이 오진의 경로가 될 수 있다.
• 윤리 프레임워크 자체도 지역성을 갖는다. 1970년대 미국 생명윤리의 자율성 중심 원칙과 남아프리카의 우분투식 공동체 중심 질문은 같은 사건에서 서로 다른 책임을 묻는다.

자주 묻는 질문

관련 AI 소식