AI 편향과 안전: CMU 자연어처리 강의가 짚은 공정성 지표와 데이터 필터링의 역설

핵심 메시지

• 이미지 생성 모델에 '교사'를 그려 달라고 하면 특정 인종·성별·연령대만 반복해 나오는 것처럼, 편향은 눈에 잘 띄는 형태로 드러난다.
• 공정성 정의는 하나가 아니다. 집단별 정확도 동일, 통계적 동등성, 균등 승산, 민감 속성 미사용, 반사실적 공정성 등이 서로 다른 것을 요구한다.
• 편향은 데이터에서만 오지 않는다. 모델 선택과 손실 함수, 심지어 추론 알고리즘까지 파이프라인 어느 단계에서든 생겨나고 증폭된다.
• 혐오 표현이나 나쁜 단어 목록으로 학습 데이터를 걸러내는 방식은 의학·법률 문서와 소수자 방언을 함께 지워버리는 역효과를 낸다.
• 결국 중요한 것은 지표가 아니라 '누가 이 시스템으로 이득을 보고 누가 피해를 보는가'라는 질문이며, 완벽한 모델도 불공정하게 쓰일 수 있다.

쉽게 이해하기

카네기멜런대 고급 자연어처리 강의가 한 학기 중 한 회차를 통째로 AI의 안전·윤리·편향에 할애했다. 강의자는 이미지 생성 모델에 '교사'를 여섯 번 요청해 얻은 결과를 먼저 보여준다. 모두 백인 여성이고 연령대도 비슷하며 배경은 미국식 교실이다. 세계의 교사 중 아주 좁은 일부만 재현된 셈이다.

강의는 편향을 두 갈래로 나눈다. 하나는 고정관념적 출력과 소수 집단 입력에서의 성능 저하 같은 편향된 결과이고, 다른 하나는 유해 콘텐츠다. 공정성을 정의하는 방법도 여러 가지가 소개된다. 집단별 정확도를 같게 맞추는 방식, 긍정 판정 비율을 같게 하는 통계적 동등성, 위양성률과 진양성률을 같게 하는 균등 승산, 민감 속성을 아예 쓰지 않는 방식, 그리고 민감 속성만 바꿨을 때 결과가 달라지지 않아야 한다는 반사실적 공정성이다. 미국에서는 채용이나 대학원 입학 같은 결정에 민감 속성을 사용하지 않는 것이 법적 요구사항이기도 하다.

그러나 강의의 핵심은 지표를 고르는 문제가 아니다. 해악을 기준으로 봐야 한다는 것이다. 강의는 자원 배분에서 차별이 생기는 배분적 해악, 고정관념적 묘사가 만드는 재현적 해악, 소수 집단 입력에서 성능이 떨어지는 인식 해악을 구분한다. 특히 인식 해악은 악순환을 만든다. 시스템이 잘 작동하지 않는 집단은 이용을 그만두고, 그 결과 데이터에서 더 보이지 않게 되어 상황이 더 나빠진다.

편향이 데이터에서만 온다는 통념도 반박된다. 언어 식별 도구의 정확도가 해당 국가의 발전 수준과 상관을 보인 연구, 요리 이미지의 66%가 여성이었던 학습 데이터로 훈련한 모델이 예측에서는 84%까지 비율을 키운 사례가 소개된다. 강의자는 자신의 연구도 예로 든다. 기계 번역에서 온도 1의 샘플링을 쓰면 대명사 분포가 비교적 고르지만, 빔 서치처럼 최댓값을 좇는 디코딩을 쓰면 남성 대명사가 훨씬 많이 나온다는 것이다. 학습만이 아니라 추론 알고리즘도 편향을 키운다.

해법 쪽도 만만치 않다. 표상 공간에서 성별 축을 눌러 없애는 디바이싱은 그 표상으로 미세조정하면 성별이 다시 예측된다는 점이 지적됐다. 학습 데이터 필터링은 더 역설적이다. 나쁜 단어 목록으로 걸러낸 문서 중 실제로 제거하고 싶은 내용은 3분의 1 정도였고, 나머지는 의학·생물학·법률 문서였다. 성소수자 커뮤니티의 글과 여러 방언이 함께 지워졌다. 품질 분류기 역시 더 부유하고 교육 수준이 높은 지역의 글에 높은 점수를 줬다.

그렇다고 유해 콘텐츠를 완전히 배제할 수도 없다. 독성 표현을 한 번도 보지 못한 모델은 독성 표현을 탐지하지도 못하기 때문이다. 사람 선호로 정렬하는 방식에도 한계가 있다. 무해함과 유용함의 균형이 어렵고, 주석자들은 불확실하지만 맞는 답보다 확신에 찬 틀린 답을 선호하는 경향이 있으며, 무엇보다 모든 문화와 가치를 하나의 선호 순위로 담을 수 없다. 강의는 명확한 정답 대신, 시스템이 끝까지 어떻게 쓰일지를 생각하라는 질문으로 마무리된다.

주요 인사이트

• 공정한 모델도 불공정하게 쓰일 수 있다는 지적이 이 강의의 백미다. 인종별 오류율이 같은 얼굴 인식 시스템이라도 특정 집단에 다섯 배 더 자주 적용되면 실제 피해는 그 집단에 몰린다.
• '나쁜 단어' 목록의 상당수는 그 집단 사람들이 스스로를 가리킬 때 쓰는 일상어이기도 하다. 이를 일괄 삭제하면 그들에게 쓸모 있는 모델을 만들 데이터가 함께 사라진다.
• 구글 번역이 성 중립 언어를 번역할 때 하나를 고르는 대신 여러 선택지를 보여주는 방식으로 바꾼 것은, 모델이 아니라 모델을 둘러싼 시스템을 고쳐 문제를 완화한 사례다.
• 혐오 표현 주석 실험도 흥미롭다. 주석자에게 글쓴이의 방언과 배경 정보를 함께 알려주자 공격적이라는 판정이 줄었다. 같은 표현도 누가 말하느냐에 따라 다르게 읽힌다는 맥락이 반영된 것이다.
• 만드는 팀의 다양성이 실제로 문제를 잡아낸다는 사례도 나온다. 다국어 모델 홍보에 쓸 지구 이모지가 미국과 남미만 보여준다는 점을 지적한 사람은 다른 나라 출신 팀원이었다.
• 강의자는 자신이 만들지 않기로 한 기술도 밝힌다. 물건을 사도록 설득하는 대화 시스템, 그리고 신원을 숨기고 싶어 하는 사람의 저자를 밝혀내는 연구를 거절했다고 말한다.

자주 묻는 질문

관련 AI 소식