AI 안전 거버넌스 국제 비교: 영국·EU·한국 AI안전연구소가 짚은 수렴 지점과 남은 균열

핵심 메시지

• 출발점은 제각각이지만 결론은 비슷하다. EU는 기본권, 영국은 프런티어 과학과 측정, 한국은 국가 차원의 통합 위험관리에서 출발했는데도 실무 수준에서는 비슷한 결론에 닿고 있다는 것이 패널의 공통된 진단이다.
• 평가의 초점이 '무엇을 아는가'에서 '무엇을 하는가'로 옮겨가고 있다. 유해한 질문에 답하는지가 아니라, 스스로 계획을 세우고 도구를 써서 유해한 작업을 끝낼 수 있는지를 본다는 뜻이다.
• 한국 AI안전연구소는 싱가포르 측과 6개월간 공동 평가를 진행해, 에이전트의 과제 수행 능력과 데이터 안전성이 서로 별개라는 결론을 얻었다. 일은 제대로 끝내면서도 그 과정에서 민감 정보를 흘릴 수 있다는 것이다.
• 가장 뚜렷한 이견은 '언제 의무 평가를 발동할 것인가'였다. 연산량(컴퓨트) 임계값 하나로는 부족하며 역량·자율성·배포 규모·도구 접근·도메인 민감도를 함께 보는 계층형 기준이 필요하다는 주장이 나왔다.
• 각국이 서로를 너무 빨리 따라 하는 것이 오히려 문제일 수 있다는 반론도 제기됐다. 아직 무엇이 효과적인지 모르는 영역인 만큼 규제 실험의 다양성 자체에 가치가 있다는 것이다.

쉽게 이해하기

AI 안전 연구 비영리단체 FAR.AI가 주최한 얼라인먼트 워크숍의 원탁 토론에 각국 AI 안전 규제 기관 관계자들이 모였다. 세이프 AI 포럼의 이사벨라가 사회를 맡았고, 김명주 한국 AI안전연구소 소장, EU AI 사무국의 리사, 하버드대에서 곧 교수직을 시작하는 스티븐 캐스퍼, 영국 AI보안연구소에서 과학 평가팀을 이끄는 코즈민 우두덱이 참여했다. 주제는 단순했다. 전 세계 AI 안전 규제는 실제로 하나로 수렴하고 있는가, 그리고 남은 차이 중 무엇이 중요한가.

각 기관의 성격부터 달랐다. 김 소장은 올해 1월 시행된 AI 기본법을 근거로 활동한다고 소개했다. 법 12조는 AI 안전을 '국민의 생명·신체·재산이 AI가 만들 수 있는 위험으로부터 보호되고, AI 사회에 대한 신뢰의 기반이 유지되는 상태'로 정의한다. 그는 이 정의가 안전을 위험과 짝을 이루는 개념으로 묶었다는 점, 그리고 피해 예방과 신뢰라는 두 축을 함께 세웠다는 점을 강조했다. 소버린 AI 정책에 따라 국내 팀들이 개발하는 파운데이션 모델을 6개월 주기로 성능과 안전 양쪽에서 반복 평가하는 것, 위험의 원인과 피해, 관련 원칙, 대응 책임 기관을 하나로 잇는 국가 AI 리스크 맵을 만드는 것이 현재의 주요 과제다.

EU AI 사무국 측은 개인 자격임을 전제로 EU AI법의 작동 방식을 설명했다. 법은 기업에 자사 모델의 시스템적 위험을 평가하고 완화할 것을 요구하는데, 요구가 추상적인 탓에 과학 전문가 그룹이 실천 강령을 별도로 작성했다. 여기서 정리된 위험 범주는 통제 상실, 화생방·핵(CBRN), 사이버 공격, 유해한 조작 네 가지다. 기업은 위험을 평가·완화한 뒤 모델이 충분히 안전한지 판단해 모델 보고서로 정리하고, 안전·보안 프레임워크를 공개하며, 모델 가중치를 보호하고 중대 사고를 신고해야 한다. 2026년 8월부터는 집행 권한이 생겨 심각한 위반에는 연간 매출의 최대 3%에 이르는 제재도 가능해진다.

영국 측은 정부와 대중에게 프런티어 역량과 위험에 대한 과학적 이해를 제공하는 역할을 맡는다고 설명했다. 역량 추세 보고서를 내고, 모델 개발사와 협력해 공개 전 모델을 시험하며, 안전장치의 견고성을 레드팀 방식으로 검증한다. 우두덱은 요즘 가장 걱정되는 지점으로 변화 속도를 꼽았다. 모델이 며칠 이상 자율적으로 작업을 이어가는 상황에서 기존의 작업 시간 지평 지표가 계속 유효한지 불확실하고, 추론 단계의 연산 확대가 자율 작업 능력을 밀어 올리는 역할은 여전히 과소평가돼 있다는 것이다.

미국의 부재는 토론 내내 언급됐다. 캐스퍼는 자신이 '미국인 역할'로 초대된 것 같다고 농담하면서, 가장 강력한 모델을 보유한 나라의 기관이 이런 자리에 나오지 못하는 상황 자체를 짚었다. 다만 연방 정부가 움직이지 않는 사이 캘리포니아, 버지니아, 코네티컷 같은 주에서 독립 검증 기관을 다루는 입법이 나오고 있고, 손해배상 소송이 사실상의 규율 장치로 작동할 가능성도 있다고 봤다. 그는 정부와 기업 사이에서 학계가 이해관계에 덜 얽힌 연구자로서 권력 집중이나 민주주의 위협처럼 정부 기관이 다루기 어려운 주제를 맡을 수 있다고 덧붙였다.

주요 인사이트

• 수렴은 규제 문구가 아니라 실무에서 먼저 일어난다. 김 소장은 협력을 위해 동일한 규제가 필요한 것이 아니라 공유된 시험 방법론, 서로 호환되는 증거, 신뢰할 수 있는 소통 창구가 필요하다고 정리했다. 실제로 합의는 조약이 아니라 실무자 수준에서 조용히 형성되고 있다는 것이다.
• 배포 전 한 번의 시험으로 끝내는 방식은 이미 낡은 것으로 취급된다. 출시 전 시험은 반드시 하되 이후에도 계속 관찰해야 한다는 점, 그리고 레드팀·역량 평가·사고 보고·위험 관리 프레임워크로 이어지는 도구 세트가 비슷해지고 있다는 점이 상식으로 자리 잡았다.
• 기관의 형태는 크게 두 갈래로 나뉜다. EU AI 사무국처럼 법적 권한을 가진 규제 기관이 있고, 영국처럼 자발적 협력을 기반으로 역량과 연구를 축적하는 정부 기관이 있다. 세계 대부분의 AI 거버넌스 기관은 후자에 가깝고, 중국은 여러 조직이 얽힌 구조라 어느 쪽으로도 깔끔하게 분류되지 않는다는 지적이 나왔다.
• 제3자 평가자 생태계가 다음 단계의 핵심으로 지목됐다. 시스템 카드 한 장을 읽고 무엇이 빠졌는지 판단하려면 스스로 평가를 설계하고 대규모로 돌려본 경험이 있어야 하는데, 정부 안팎에 그런 기술 역량을 쌓는 일이 곧 규제의 실효성을 좌우한다는 인식이다.
• 권력 집중은 별도 위험이 아니라 다른 위험을 키우는 배경으로 다뤄졌다. 프런티어 모델의 가중치가 소수 국가와 소수 기업에서만 나오는 상황에서, 캐스퍼는 생성형 AI를 쓰는 사람이 세계 인구의 16~18% 수준인데도 그중 실제로 기술의 방향에 발언권을 가진 사람은 훨씬 적다고 짚었다. 인터넷이 수십 년간 모두를 자동으로 이롭게 하지는 않았다는 점을 들어, 혜택이 저절로 퍼질 것이라는 낙관은 근거가 약하다고 봤다.

자주 묻는 질문

관련 AI 소식