IASEAI 2026 취약계층 AI 이용자 보호 세션 정리: 챗봇 감사와 편향 평가의 한계

핵심 메시지

• 프린스턴 연구팀은 API로 측정한 챗봇 결과와 사람들이 실제로 쓰는 웹 화면의 결과가 다르다는 점을 확인했다. 지금까지의 감사가 대부분 API로 이뤄졌다는 점에서 측정 방식 자체가 흔들리는 발견이다.
• 광고 플랫폼에서 '내향적인 사람'을 표적으로 지정하는 기능이 없어도, 참여도를 최적화하는 알고리즘이 성격에 맞춰진 광고를 더 많이 노출시키는 현상이 실험에서 관찰됐다.
• 자살 위험 신호에 대한 대형 언어모델의 응답을 치료사 40명이 평가한 결과, 위험을 인정하는 방식이 일관되지 않고 대화를 이어가자는 제안이 드물었다.
• 이미지·영상 생성 모델의 문화·인종 편향은 기존 표준 지표로 잡히지 않았고, '편향을 쓰지 말라'는 프롬프트 지시는 일부 항목에서 오히려 편향을 키웠다.
• AI 감사를 하나의 직업으로 정립하려는 움직임과, 임상시험 등록제를 본떠 AI 제품의 배포 전후를 감시하자는 제안이 함께 나왔다.

쉽게 이해하기

안전하고 윤리적인 AI를 다루는 국제 학회 IASEAI의 2026년 행사에서 '취약하고 소외된 AI 이용자 보호'를 주제로 한 세션이 열렸다. 발표자들은 각자 다른 영역을 다뤘지만 공통된 문제의식을 공유했다. AI 시스템이 어떻게 작동하는지 검증할 도구가 그 시스템의 영향을 가장 크게 받는 사람들에게는 거의 주어지지 않는다는 것이다. 좌장을 맡은 연구자와 국제알고리즘감사협회 대표는 이를 '권력 불균형 문제'라고 표현했다.

가장 논쟁적인 발표는 챗봇의 실제 사용 조건을 그대로 재현한 감사 연구였다. 프린스턴 연구팀은 학부생 20명을 동원해 사람이 직접 화면에서 대화하는 방식으로 두 세대의 챗GPT를 비교했다. 그 결과 API로 받은 응답과 웹 화면에서 받은 응답이 같지 않았고, 같은 API 창구에서도 아무런 공지 없이 시간에 따라 결과가 달라졌다. 발표자는 이를 '시험용으로 내주는 차가 실제로 파는 차와 다른 상황'에 비유했다.

정신건강 영역의 발표 두 건은 서로 보완적이었다. 한 연구팀은 자살 위험 신호에 대한 최소한의 적절한 응답 기준을 임상 문헌에서 가져와 치료사 40명과 함께 약 830건의 응답을 평가했고, 모델이 위험을 인정하는 방식이 들쭉날쭉하고 대화를 계속하자는 초대가 거의 없었다고 보고했다. 다른 연구자는 애초에 정신건강 서비스 자체가 불투명하다는 점에서 출발해, 챗봇이 답을 던지기만 할 것이 아니라 이용자가 그 답을 스스로 해석하고 판단할 수 있게 돕는 '성찰적 해석 가능성'을 설계 원칙으로 제안했다.

편향 평가 발표들은 측정 도구 자체의 한계를 겨냥했다. 이미지 편집 모델을 여러 나라의 문화적 맥락에서 검증한 연구는 기존 표준 지표가 사람 눈에 가장 나빠 보이는 결과물을 오히려 최고점으로 골랐다고 지적했다. 텍스트-영상 생성 모델을 분석한 연구는 직업과 수상 경력에서 뚜렷한 성별·인종 연관을 발견했고, 편향을 쓰지 말라고 지시하는 프롬프트가 일부 항목에서는 편향을 되레 강화했다고 밝혔다. 폐쇄형 모델에서는 외부 연구자가 쓸 수 있는 수단이 프롬프트뿐이라는 점이 문제의 핵심으로 지목됐다.

언어와 제도 이야기도 나왔다. 세르비아어 사례를 조사한 발표자는 화자가 1000만 명이 넘고 국가 AI 전략과 슈퍼컴퓨터까지 갖춘 나라조차 언어 자원이 '단편적'으로 분류된다는 점을 들어, 데이터 부족과 지속적 투자 부재가 겹치면 결국 영어 모델을 급히 미세조정하는 지름길로 흐른다고 지적했다. 마지막 발표자는 임상시험 등록·부작용 보고 체계를 본떠 AI 제품에도 위험도에 따른 조건부 출시와 배포 후 추적을 도입하자고 제안했다.

주요 인사이트

• 감사 결과를 신뢰하려면 '무엇을 측정했는가'보다 '어떤 통로로 측정했는가'를 먼저 물어야 한다. API 응답과 실제 사용자 화면의 응답이 다르다면, 지금까지 축적된 벤치마크 상당수가 사람들이 겪는 현실과 어긋나 있을 수 있다.
• 편향은 설계자의 악의가 없어도 최적화 과정에서 생겨난다. 광고 실험이 보여준 것은 플랫폼이 성격을 표적 옵션으로 팔지 않아도, 참여도를 극대화하려는 학습이 결과적으로 심리적 특성에 맞춘 노출을 만들어낸다는 점이다.
• 정신건강 대응에서 모델은 이중 구속에 놓인다. 위험 신호에 물러서면 임상 원칙에 어긋나고, 대화를 길게 이어가면 맥락이 쌓일수록 부적절한 응답이 나올 확률이 올라간다. 어느 쪽도 그냥 선택할 수 없는 문제다.
• '편향을 쓰지 말라'는 지시가 편향을 줄인다는 보장은 없다. 폐쇄형 모델에서 외부 감사자가 쓸 수 있는 수단이 프롬프트뿐이라는 사실은, 완화 전략의 검증 가능성이 모델 공개 수준에 묶여 있다는 뜻이다.
• 평가와 감사를 개인의 선의나 취미 프로젝트에 맡겨두는 구조 자체가 선택의 결과다. 발표자들이 감사자 인증 제도와 임상시험식 등록 체계를 함께 이야기한 것은, 개별 연구를 넘어선 제도 설계가 필요하다는 문제의식 때문이다.

자주 묻는 질문

관련 AI 소식