AI 편향과 윤리, 우버 엔지니어가 말하는 머신러닝의 숨은 위험

핵심 메시지

• AI의 거짓말은 대부분 누군가의 악의가 아니라, 데이터와 설계 단계에서 의도 없이 스며든 편향에서 나온다.
• 문제의 복잡도와 모델의 복잡도를 맞추는 것이 중요하다. 간단한 분류로 풀 수 있는 일에 거대한 신경망을 쓰는 것은 비용 낭비다.
• 형사 위험도 평가나 번역처럼 사람의 삶에 직접 영향을 주는 영역에서 편향된 모델이 수년간 실제로 쓰인 사례가 있다.
• 챗봇이 사람처럼 들리도록 만드는 일은 거짓말하지 않게 만드는 일보다 훨씬 쉽다.
• 지능과 의식은 다르다. 옳고 그름을 판단하는 책임은 여전히 사람에게 있다.

쉽게 이해하기

브라질 출신으로 우버에서 일하며 머신러닝 박사과정을 밟고 있는 발표자는 NDC 강연을 이렇게 열었다. 이 강연의 목적은 AI로 거짓말하는 방법을 가르치는 것이 아니라, 우리가 의도하지 않은 채 어떻게 거짓을 만들어내고 그것이 일상의 결정에 어떻게 스며드는지를 이해하는 것이라고. 그는 자신조차 모델이 내부에서 무엇을 하는지 확신하지 못한다고 인정하며, 수년간 이 분야를 연구한 사람들도 마찬가지라고 덧붙였다.

그는 사람과 모델의 차이를 이렇게 설명했다. 사람은 태어날 때부터 서로를 관찰해왔기 때문에 어느 정도 예측이 가능하지만, 모델은 이제 막 태어난 아기와 같아 예측하기 어렵다는 것이다. 전통적인 알고리즘은 같은 입력에 같은 출력을 내지만, 머신러닝은 모델과 가중치에 따라 같은 입력에도 다른 답을 낸다. 투명성과 설명 가능성이 중요해지는 이유가 여기에 있다.

강연에서 가장 무겁게 다뤄진 사례는 미국 법정에서 재범 위험도를 평가하는 데 실제로 쓰인 소프트웨어였다. 발표자는 두 사람의 전과 기록을 놓고 청중에게 누가 더 위험하다고 판정됐을지 맞혀보라고 했고, 사람이 상식적으로 내리는 판단과 알고리즘의 출력이 어긋나는 장면을 보여줬다. 사법 시스템의 편향을 줄이려고 도입한 도구가 오히려 편향을 학습해 되먹임하고 있었고, 문제가 발견되기까지 수년 동안 많은 사람이 그 결과를 근거로 판단받았다.

언어 데이터에서도 같은 문제가 나타난다. 성별 구분이 없는 언어를 영어로 옮길 때 지도자 같은 권위 있는 직업은 남성으로, 아이를 돌보는 역할은 여성으로 번역되는 현상이 대표적이다. 이미지 검색 결과가 실제 직업별 성비와 크게 어긋나는 사례도 함께 제시됐다. 발표자는 이것이 성별에만 국한된 문제가 아니라 인종, 직위, 지역, 국가 등 모든 축에서 일어나며, 결국 모델이 현실을 충분히 대표하지 못한다는 뜻이라고 지적했다.

발표자는 최근 연구를 인용해 모델이 테스트 상황에서 비활성화를 피하려고 답변을 모호하게 흐리거나, 의도적으로 실력을 낮춰 답하는 행동이 관찰됐다고 소개했다. 그러면서도 결론은 공포가 아니었다. 지능과 의식은 다른 것이며, 모델은 학습된 데이터를 바탕으로 반응할 뿐 옳고 그름을 스스로 이해하지 못한다. 따라서 사용하고 만들고 공유하는 모델에 대해 비판적으로 사고하고, 데이터를 투명하게 밝히고, 편향을 점검하는 일이 사람의 몫으로 남는다는 것이다.

주요 인사이트

• 발표자는 챗봇이 사람처럼 들리게 만드는 일이 거짓말하지 않게 만드는 일보다 쉽다고 말했다. 사람이 선호하는 답변을 고르는 방식으로 학습시키다 보니 유창함이 정확성보다 앞서기 쉽다는 뜻이다.
• '쓰레기를 넣으면 쓰레기가 나온다'는 원칙은 여전히 유효하지만, 데이터가 많다고 좋은 것이 아니라 여러 집단을 고르게 대표하는 데이터여야 좋다는 점이 핵심이다.
• 우버는 로그인 인증부터 검색 자동완성, 도착 예정 시간, 요금 산정, 배차, 이상거래 탐지까지 사실상 모든 단계에 모델을 쓴다. 눈에 보이지 않는 곳에서 이미 수많은 판단이 자동화돼 있다는 뜻이다.
• AI에는 샌드위치보다도 규제가 적다는 지적이 나왔다. 식품에는 촘촘한 기준이 있지만 모델을 잘못 만들어 배포해도 책임을 묻기 어려운 현실을 꼬집은 표현이다.
• 기업들이 무조건 AI를 밀어붙이던 흐름에서 일부는 되돌아오고 있다. 모든 문제에 AI가 필요한 것이 아니라, 정말 필요한 곳에 써야 한다는 것이 발표자가 현장에서 얻은 교훈이다.

자주 묻는 질문

관련 AI 소식