EU AI법 가치사슬 책임 배분의 허점, 계약만으로는 AI 위험을 관리할 수 없는 이유

핵심 메시지

• EU AI법은 고위험 AI 시스템의 책임을 최종 애플리케이션 제공자에게 몰아주지만, 실제 시스템은 여러 공급자의 부품을 조립해 만들어진다.
• 가장 다루기 어려운 위험은 개별 부품이 아니라 부품과 부품, 데이터와 맥락, 사람 사이의 상호작용에서 생긴다.
• 법은 공급자 간 협력을 '서면 합의'로 확보하라고 하지만, 현실의 부품은 대부분 협상 불가능한 약관 동의 방식으로 제공된다.
• 발표자는 계약이 본래 책임을 떠넘기는 도구이며, 협상력이 큰 대형 기술기업에게 유리하게 작동한다고 지적한다.
• 해법으로는 가치사슬 참여자 전반에 '합리적 노력' 수준의 협력 의무를 넓히는 방안과, 상호 책임에 대한 새로운 이론적 토대가 제시된다.

쉽게 이해하기

발표자는 EU AI법을 사례 연구로 삼는다. 지금까지 나온 규제 중 AI 맥락에서 책임을 가장 완결적으로 배분한 법이기 때문이다. 논의를 구체화하기 위해 그는 응급 출동 AI라는 가상의 시스템을 든다. 걸려 온 신고 전화를 분석해 구급차·경찰·소방의 긴급도 점수를 매기는 시스템으로, EU AI법상 고위험 AI로 분류돼 시험·데이터 거버넌스·문서화·설명가능성·상시 모니터링·로그 기록 의무가 붙는다.

이 시스템이 실패하면 두 가지 피해가 동시에 발생한다. 하나는 가장 급한 사람에게 구급차가 가지 않아 누군가 불필요하게 죽는 급성 피해이고, 다른 하나는 과거 데이터로 학습한 편향 때문에 부유한 동네나 다수 집단으로 자원이 꾸준히 쏠리는 구조적 피해다. 발표자는 물리적 안전을 다루는 AI 안전 논의와 공정성·책무성·투명성을 다루는 논의가 갈라져 있는데, 이런 사례가 두 흐름을 잇는 다리가 될 수 있다고 말한다.

만약 한 회사가 시스템을 처음부터 끝까지 만들었다면 책임 배분은 간단하다. 그러나 실제 시스템은 미리 만들어진 부품들의 조립물이고, 부품들은 서로 다른 일반성과 능력을 지닌 채 미들웨어로 이어져 있다. 음성 인식이나 텍스트 분석 같은 부품은 수천, 수백만 개의 전혀 다른 시스템에서도 쓰이므로, 부품 제공자는 자기 기여물이 어떤 맥락에서 어떤 위험을 만들지 알 길이 없다. 공급망은 직선이 아니라 가로세로로 얽힌 그물에 가깝다.

EU AI법의 대표 조항은 두 갈래다. 하나는 기존 시스템을 수정해 고위험으로 만든 사람이 새 제공자가 되고, 원래 제공자는 원치 않더라도 규정 준수를 도와야 한다는 것이다. 다른 하나는 나머지 문제를 공급자와의 계약으로 해결하라는 것이다. 발표자는 여기에 '허구'가 있다고 본다. 법이 말하는 서면 합의는 협상 과정을 전제하는데, 현실에서 도커 파일·API·모델 가중치는 클릭 한 번으로 동의하는 부합계약으로 제공된다. 어떤 제공자는 아예 자기 제품으로 고위험 시스템을 만들지 말라고 약관에 못 박기도 한다.

그럼에도 그는 유럽의 시도를 옹호하며 몇 가지 시장의 대응을 예측한다. 고위험 시스템 제공자가 배포자에게 협력 확보와 면책을 요구하는 흐름, 규정 준수를 약속하는 부품과 그렇지 않은 부품으로 시장이 층화되는 흐름, 고위험 용도에서는 아예 맞춤형 소형 모델로 개발 방식을 되돌리는 흐름, 그리고 협상력이 큰 클라우드·미들웨어 사업자가 규정 준수를 서비스로 파는 흐름이다. 마지막으로 그는 계약과 소송을 통한 사후 정산이 그물처럼 얽힌 상호의존에 맞는 틀이 아니라며, 상호 책임에 관한 이론적 토대를 새로 세우고 싶다고 말한다.

주요 인사이트

• 책임을 최종 조립자에게 몰아주면 규제 목적 자체가 흔들린다. 발표자는 위험이 실현됐을 때 아무것도 통제할 수 없는 중간 사업자에게 배상 책임이 떨어지면 보상은 될지 몰라도 억지 효과는 없다고 지적한다.
• 개인정보 규제가 쓰는 방식, 즉 계약을 아래 단계로 연쇄시키는 접근은 AI 부품 시장에서 곧 한계에 부딪힌다. 단계가 늘어날수록 어딘가에서 협상 불가능한 약관을 만나기 때문이다.
• 여러 에이전트가 상호작용하는 구조도 질적으로 새로운 문제가 아니라, 계약 관계가 없는 참여자들 사이에서 위험이 함께 만들어진다는 같은 복잡성 문제의 변형이라는 것이 발표자의 견해다.
• 발표자가 제안하는 최소한의 개선은 수정 앱 제공자에게만 지워진 협조 의무를 가치사슬의 더 넓은 범위로 확장하는 것이다. 모두에게 모든 것을 요구하는 대신, 법률가에게 익숙한 '합리적 노력'이라는 비례적 기준을 쓰자는 제안이다.
• 계약에서 가장 치열하게 협상되는 조항이 책임 제한과 면책이라는 점은, 계약을 위험 관리의 주된 수단으로 삼는 설계가 왜 취약한지를 보여준다.

자주 묻는 질문

관련 AI 소식