AI 안전은 누가 정하나: 토스터 인증 비유로 본 피해의 정의와 다양성, 호주 AI 안전 포럼 패널

핵심 메시지

• AI 안전은 기술 문제처럼 보이지만 무엇을 피해로 볼지, 누구의 피해를 중요하게 볼지, 그 답을 누가 정할지를 사람이 먼저 결정한다는 데서 논의가 출발한다.
• 토스터 하나도 전기·발열·전도 방지·화재 예방 규제를 모두 통과해야 집에 들일 수 있는데, 특정 집단에 훨씬 더 자주 해를 끼치는 AI는 그런 인증 없이 이미 우리 손 안에 있다는 비유가 제시됐다.
• AI 개발자 중 여성은 셋 중 한 명뿐이며, 보편적이라고 주장하는 시스템을 만들려면 만드는 팀부터 보편적이어야 한다는 지적이 나왔다.
• 가정법원과 공정노동위원회가 악의적 신청으로 막히는 사례처럼, 중립적으로 보이는 챗봇이 실제로는 사법 절차를 지연시키는 도구로 쓰이는 피해가 거의 논의되지 않는다.
• 여성이 AI를 쓰면 무능의 증거로 읽히고 남성이 쓰면 시대에 발맞춘 것으로 읽히는 'AI 역량 페널티'가 참여 격차를 키운다고 봤다.

쉽게 이해하기

2026년 호주 AI 안전 포럼에서 열린 25분짜리 패널의 주제는 'AI 안전은 누가 정하는가'였다. 사회는 테크 폴리시 디자인 인스티튜트의 공동 설립자 겸 대표 조해나 위버가 맡았고, 워킹 위드 위민 얼라이언스 대표 젬마 킬런과 모나시대학교 소프트웨어공학 교수이자 휴먼AISE 랩을 이끄는 라시나 호다가 답했다. 사회자는 답변마다 1분씩만 주겠다고 못 박고 세 가지 질문을 던졌다. 무엇이 피해인가, 누구의 피해가 중요한가, 그리고 그것을 누가 정하는가.

호다 교수가 내놓은 답은 토스터였다. 토스터 한 대가 집에 들어오기까지 전기 규제, 발열 안전 규제, 아이나 반려동물이 넘어뜨리지 못하게 하는 규제, 화재 예방 규제를 통과하고 인증까지 받는다. 그런데 만약 그 토스터가 여성에게 네 배 더 자주 감전을 일으키고 젊은 성인에게 평균보다 열다섯 배 더 자주 해를 끼친다는 것이 알려졌다면 어떨까. 그런 제품은 논의 대상조차 되지 못할 텐데, 정작 집 안과 주머니 속에 늘 있는 AI는 취약한 집단에 불균형하게 해를 끼치면서도 그런 문턱을 통과한 적이 없다는 것이다.

킬런 대표는 자신이 일하는 영역에서는 AI가 젠더 기반 폭력을 키우는 방식이 이미 상식이지만 사회 전반은 그 위험을 잘 모른다고 말했다. 구체적인 사례로 든 것은 법정이다. 가정법원과 공정노동위원회가 악의적으로 반복 제기되는 신청으로 막혀 있는데, 가정폭력 가해자가 AI로 신청서를 대량 생산해 절차를 질질 끄는 데 쓴다는 것이다. 중립적으로 보이는 챗봇이 사법과 치안 시스템을 마비시키는 무기가 되는 이런 경로는 거의 논의되지 않는다고 그는 지적했다.

누가 만드는가에 대한 답도 이어졌다. 호다 교수는 AI가 인간 경험을 평균화한 결과물인데 세상에 평균적인 인간은 없다고 말하면서, 지금 AI를 설계하고 통치하는 리더십이 얼마나 좁은 집단인지를 짚었다. 킬런 대표는 AI 개발자 중 여성이 셋 중 한 명뿐이라는 수치를 들며 이마저도 세계 평균이고 호주 노동시장은 성별 편중이 더 심하다고 덧붙였다. 호주 정부가 사회서비스 시스템 전반에 대해서는 안전 설계 감사를 하고 있지만 AI 개발 과정에는 같은 절차가 없고, 피해가 생겼을 때 책임을 묻거나 문제를 제기할 통로도 없다는 것이 그의 진단이다.

빠져 있는 사람이 누구냐는 질문에 호다 교수는 청중에게 방을 둘러보라고 했다. 아이도, 젊은 성인도, 노년층도 보이지 않는다. 보이지 않는 장애가 있는 사람, 저소득층, 디지털과 AI 접근 자체가 어려운 사람은 애초에 그 자리에 없다. 그는 이들이 회의실에도, AI를 학습시킨 데이터에도, AI 안전을 논하는 대화에도 똑같이 빠져 있다고 말했다. 그러면서 흔히 쓰이는 악의적 사용·기술적 결함·시스템 리스크라는 세 갈래 분류에 의도치 않은 피해를 더하고, '기술적 결함'을 사회기술적 관점으로 바꾸고, 시스템 리스크가 취약 계층에 어떻게 작용하는지를 명시해야 한다고 제안했다.

주요 인사이트

• 참여를 늘리자는 말은 흔하지만 그 비용을 누가 내는지는 잘 다뤄지지 않는다. 남성은 정부나 고용주가 교육비를 대주는 경우가 많고 여성은 자비로 부담하는 경우가 많으며, 교육 시간대도 남성은 근무 시간 안, 여성은 근무 시간 밖이라 돌봄 부담과 충돌한다는 지적이 나왔다.
• 'AI 역량 페널티'라는 표현이 등장했다. 여성이 업무에 AI를 쓰면 '역시 혼자서는 못 하더라'는 무능의 증거로 읽히는 반면, 같은 수준의 남성은 시대 변화에 발맞춘 똑똑한 사람으로 읽힌다는 것이다.
• 편향에 대한 사회적 관용이 그대로 AI로 옮겨진다는 점도 짚었다. 채용에 원래 편향이 있으니 AI도 어쩔 수 없다는 논리가 통용되면서, AI가 그 편향을 증폭하고 시스템 안에 고착시킨다는 문제는 다뤄지지 않는다는 것이다.
• 예산을 하나만 딸 수 있다면 무엇을 하겠느냐는 질문에 호다 교수는 다시 토스터로 돌아가, 용도에 맞는 인증과 규제 없이는 어떤 AI 제품도 최종 사용자에게 출시될 수 없어야 한다고 답했다. 특히 심리 상담 성격의 앱을 지목했다.
• 규제 주체를 두고는 민간 자율기구에 맡기는 데 신중해야 한다는 견해가 나왔다. 정부는 느리다는 약점이 있지만 책임 기제는 정부에 있어야 하며, 대신 그 느림을 상쇄할 만큼 예산과 인력을 붙여줘야 한다는 것이다.

자주 묻는 질문

관련 AI 소식