AI 사고 의무 보고 제도란 무엇인가: 호주가 EU·캘리포니아 선례에서 배우려는 규제 설계

핵심 메시지

• 지금은 AI로 인한 피해가 체계적으로 집계되지 않아 규제 대응이 늘 늦는다.
• 해법으로 제시된 것은 기업의 탐지·보고 의무와 기관의 조사·조치·학습 기능을 묶은 사고 보고 제도다.
• 개인정보·소비자보호 등 기존 제도는 사건은 잡아내지만 모델 자체의 결함과 대규모 오용은 놓친다.
• 피해 사실을 가장 잘 아는 AI 기업에게 정작 보고 의무가 없다는 점이 제도의 가장 큰 구멍이다.
• EU·캘리포니아·베트남·한국의 선례가 있어 새로운 규제 부담이라기보다 정보 공유의 문제라는 것이 발표의 주장이다.

쉽게 이해하기

호주 AI 안전 포럼 2026에서 글로벌 실드 호주의 데번 휘틀은 11분짜리 발표로 AI 사고 의무 보고 제도를 제안했다. 출발점은 단순하다. AI로 인한 피해나 사이버 공격 소식은 이따금 헤드라인으로 접하지만, 그것이 체계적이지도 포괄적이지도 않다는 것이다. 무슨 일이 얼마나 벌어지는지 모르는 상태에서는 규제도 늘 뒤늦게 반응할 수밖에 없다.

제안된 제도는 네 단계로 구성된다. 먼저 기업에 자사 제품이 어떻게 쓰이는지 감시하고 사고 발생 시 기한 안에 기관에 신고할 의무를 지운다. 다음은 조사인데, 여기에는 두 가지 방식이 있다. 호주교통안전국처럼 책임을 묻지 않고 원인만 규명해 기업의 자진 신고를 유도하는 무책임 방식과, 의약품 규제기관이나 소비자위원회처럼 실제 책임을 부과하고 리콜·소비자 경고까지 하는 방식이다. 마지막은 학습 기능으로, 무엇이 어디서 잘못됐는지 데이터베이스로 축적해 산업 전반의 구조적 위험을 평가한다.

이미 개인정보와 소비자보호 분야에 보고 의무가 있는데 왜 AI만 따로 만드느냐는 반론에 대해 발표자는 사각지대를 지목한다. 누군가 AI 모델로 데이터베이스를 뚫어 개인정보를 빼내면 유출 사실은 정보 당국에 보고되지만, 그 과정에 어떤 모델이 어떻게 관여했는지는 기록되지 않는다. 그 결과 모델 수준의 실패와 대규모 오용 데이터가 사라지고, 여러 분야에 걸친 같은 결함을 아무도 하나의 문제로 보지 못한다.

가장 날카로운 지적은 보고 의무의 방향이다. 발전소가 사이버 공격을 받으면 운영사는 신고해야 하지만, 자사 모델이 그 공격에 쓰였다는 사실을 아는 AI 기업에는 아무 의무가 없다. 피해를 가장 먼저 아는 쪽이 침묵해도 되는 구조라는 것이다. 소비자 입장에서도 병원에서 AI 전사 서비스 사용을 강요당했을 때 어디에 문제를 제기해야 하는지 불분명하다는 문제가 있어, 자발적 신고 창구의 필요성도 함께 제시됐다.

발표는 이것이 세계적으로 새로운 발상이 아니라는 점을 강조한다. EU는 고위험 AI를 대상으로 중대 사고의 정의와 보고 의무를 담은 제도를 시행하며, 주요 AI 기업 대부분이 EU 실천 규약에 서명했다. 미국 캘리포니아에도 보고 의무가 있으나 발동 기준이 훨씬 높다. 베트남과 한국의 초기 AI 법에도 오용·피해 모니터링 의무가 담겨 있다. 호주에는 자발적 신고로 분류 체계를 다듬은 뒤 의무 보고로, 다시 실제 조치가 가능한 통합 규제기관으로 나아가는 단계적 모델이 제안됐고, 주요 AI 기업이 호주에 거점을 두고 시장에 접근한다는 사실이 관할권의 근거로 제시됐다.

주요 인사이트

• 규제 논쟁의 핵심은 규제의 양이 아니라 정보의 흐름이다. EU 체계에 이미 보고하는 기업이라면, 같은 정보를 자국 규제기관에도 알리게 하는 것은 새로운 부담이라기보다 정보 격차의 해소에 가깝다.
• 책임을 묻지 않는 조사 방식은 투명성을 높이는 대신 제재력을 포기한다. 항공·의약품 등 기존 분야가 이 균형을 어떻게 잡아왔는지가 AI 제도 설계의 참고점이 된다.
• 분야별로 쪼개진 규제는 같은 모델의 같은 결함이 여러 산업에서 동시에 터져도 이를 하나의 구조적 위험으로 인식하지 못한다.
• 일반 이용자에게는 신고할 곳이 어디인지가 실질적 장벽이다. 창구가 불분명하면 피해는 통계로 잡히지 않는다.
• 집행 가능성은 시장 접근에서 나온다. 주요 AI 기업이 현지에 거점을 두고 영업하는 한 의무 부과의 연결고리는 존재한다.

자주 묻는 질문

관련 AI 소식