AI 책임성 어떻게 작동시키나 — 예견 가능성, 책임보험, 알고리즘 감사, 내부고발 보호까지

핵심 메시지

• 법은 예견 가능한 결과에만 책임을 묻는데 AI는 만든 사람조차 행동을 예측하지 못한다. 발표자는 이를 '예견 가능성의 역설'이라 불렀다.
• 해법으로 제시된 것은 추정 규칙의 전환이다. 일반 소비자에게는 AI의 유해한 행동을 예견할 의무가 없다고 보고, AI를 만든 쪽이 그 시스템을 가장 잘 안다고 전제해 정보 공개를 사실상 강제하자는 것이다.
• 책임보험이 안전을 압박하는 규제자 역할을 할 수 있다는 기대가 있지만, 보험사의 기술 전문성 부족과 대기업의 자가보험(캡티브), 한 모델이 무너지면 전부 무너지는 군집 위험 탓에 '보험 가능성' 자체가 논쟁거리다.
• 이력서 심사에 쓰이는 대형 언어모델을 검증한 연구에서, 자격 요건이 하나 더 많은 이력서를 모델이 항상 고르지는 않았고 인종·성별 같은 무관한 정보에도 흔들렸다.
• 내부고발자 보호, 편향 감사 도구, 인권 영향평가, 국제 기술표준은 서로 맞물릴 때만 실제로 작동한다는 것이 패널 전체의 공통된 결론이었다.

쉽게 이해하기

안전하고 윤리적인 AI를 위한 국제협회(IASEAI)가 2026년 연 콘퍼런스의 한 세션은 'AI 책임성을 어떻게 실제로 작동시킬 것인가'를 주제로 열렸다. 좌장을 맡은 네덜란드 델프트공대 사회기술 AI 시스템 연구실의 진행자는 법적·제도적·기술적·사회조직적 장치가 모두 AI 거버넌스 지형에 제자리를 가질 자격이 있다고 말하며 세션을 열었다. 두 개 묶음으로 나뉜 발표에는 법학자, 평가 연구자, 인권위원회 소속 변호사, 전직 외교관이 차례로 올랐다.

첫 발표는 법에서 말하는 '예견 가능성'에서 출발했다. 법은 우리 행동의 예견 가능한 결과에 대해서만 책임을 묻는다. 계약을 맺은 뒤 허리케인이 닥쳐 이행하지 못했다면 그 책임까지 지우지는 않고, 차선을 바꾸다 남의 차를 살짝 밀었는데 그 차가 운석에 맞았다면 운석까지 책임지게 하지는 않는다. 반대로 내가 급하게 방향을 틀어 다른 차가 피하다 사고가 났다면 책임을 묻는데, 그래야 행동의 결과를 미리 헤아릴 유인이 생기기 때문이다.

문제는 AI다. 시스템을 만드는 기술 연구자조차 그 행동이 무엇까지 예견 가능한지 완전히 알지 못하는데, AI는 사람처럼 말하도록 설계돼 사용자에게는 사람만큼 예측 가능해 보인다. 게다가 예측하기 어렵다는 사실이 배포 속도를 늦추지도 않았고, AI는 이미 안정적이고 책임 있는 판단이 요구되던 자리를 대신하고 있다. 발표자는 지금 구조에서 최전선 AI 기업들은 자기 모델의 해로운 성질을 굳이 조사하고 공개할 유인이 없다고 지적했다. 덜 예견 가능할수록 책임을 덜 지기 때문이다. 그래서 제안된 것이 추정 규칙을 뒤집는 방식이다.

두 번째 발표는 사후 책임과 보험을 다뤘다. EU 인공지능법 같은 포괄적 사전 규제는 GDPR이 10년간 보여준 것처럼 집행과 이행이 어렵다는 문제의식에서, 발표자는 과실책임·무과실책임·새 제조물책임 지침 같은 책임 법제를 통해 개발사가 스스로 조심하게 만드는 길을 살폈다. 다만 책임은 곧 보험 문제로 이어진다. 보험사가 위험 가격을 매겨 안전을 압박할 수 있다는 견해가 있는 반면, 보험사에 기술 전문성이 없고 거대 기업은 자회사 형태의 자가보험을 쓴다는 반론도 만만치 않다. 아예 보험이 불가능한 위험에는 프랑스가 자연재해에 쓰는 방식처럼 공적 백스톱이나 보상기금이 필요하다는 제안이 나왔다.

뒤이은 발표들은 책임성을 실제로 확인하는 도구를 보여줬다. 채용 이력서 심사를 사례로 삼은 연구는 '관련 자격이 늘면 결과가 달라져야 한다'는 기준 타당도와 '인종·성별처럼 무관한 정보는 결과를 바꾸면 안 된다'는 판별 타당도를 정의하고, 실제 채용 공고에서 뽑은 요건으로 합성 이력서 쌍을 만들어 대량 시험했다. 네덜란드 사례 발표는 학자금 부정수급을 걸러내던 정부 알고리즘이 비유럽 이주 배경 학생을 불리하게 대해 정부가 사과하고 보상한 사건을 다루며, 민감정보 없이도 비지도 군집화로 비슷한 편향을 찾아내는 공개 도구를 소개했다. 마지막 묶음에서는 내부고발자 보호법의 실제 구조, 캐나다 온타리오의 인권 AI 영향평가, ISO·IEC·ITU 같은 국제 표준기구의 역할이 이어졌다.

주요 인사이트

• 규제 논쟁의 축은 '사전에 금지선을 긋는 규제'와 '사고 뒤 책임을 묻는 법' 사이에 있다. 포괄 규제의 집행 난이도를 경험한 쪽에서 오히려 책임 법제와 보험이라는 사후 장치에 주목한다는 점이 눈에 띈다.
• 책임성 장치들은 홀로 서지 못한다. 표준이 있어야 무엇이 위반인지 특정되고, 감사 도구가 있어야 증거가 남으며, 내부고발 보호가 있어야 그 증거가 밖으로 나온다. 패널이 서로의 발표를 '연결 고리'로 읽은 이유다.
• 편향 감사에서 가장 큰 현실적 장벽은 인종·출신 같은 민감정보가 없다는 점인데, 비지도 학습으로 의심 집단을 먼저 찾아내는 접근이 이를 우회한다. 다만 정량적으로 군집을 찾은 뒤에는 그것이 실제 차별인지 판단하는 정성 분석이 반드시 뒤따라야 한다.
• 자율적 평가 도구는 의무가 아니면 쓰이지 않는다는 것이 온타리오 협의의 결론이었다. 정부·산업·기술자 모두가 '의무가 아니면 안 하겠다'고 답했지만, 현행 인권법에는 이미 차별을 막기 위한 합리적 조치를 취할 적극적 의무가 있다는 점이 함께 강조됐다.
• 한 발표는 한국·싱가포르·인도를 '기술 스윙 스테이트'로 분석했다. 미·중 사이에서 신뢰할 수 있는 검증·감사 허브가 되거나 서로 다른 규범을 번역·중개하는 역할이 중견국의 전략적 선택지가 될 수 있다는 시각이다.

자주 묻는 질문

관련 AI 소식