IASEAI 2026 AI 안전·윤리 실행 세션 정리: 거버넌스 신뢰, 결정론적 안전, 에이전트 안전 벤치마크

핵심 메시지

• 미국 성인 대상 설문에서 AI 거버넌스를 맡길 주체로 다국적 협력체나 민관 파트너십을 고른 응답이 약 절반이었고, 25%는 아예 믿을 곳이 없다고 답했다.
• 프런티어 AI 규제가 확률 기반 위험 관리에 쏠려 있고, 화학·항공 산업이 대형 사고 이후 도입한 결정론적 안전 기법은 거의 반영되지 않았다는 지적이 나왔다.
• 가사 로봇 연구에서 자동화 수요를 예측한 것은 그 일에 드는 시간이 아니라 그 일이 주는 불쾌감이었고, 요리와 육아처럼 시간이 오래 걸리는 일은 오히려 자동화를 원하지 않았다.
• 네덜란드 공중보건 머신러닝 연구자 설문에서 78%가 실무에서 AI 편향을 봤다고 답했지만, 81%는 공정성 모니터링을 거의 또는 전혀 하지 않는다고 답했다.
• 실제 셸과 브라우저에 연결한 365개 시나리오로 에이전트 안전을 측정한 결과, 위험은 코드 실행보다 웹 브라우징과 파일 시스템 조작에서 더 많이 나타났다.

쉽게 이해하기

국제 안전·윤리 AI 협회(IASEAI)가 공개한 2026년 콘퍼런스 마지막 트랙은 이틀간 논의된 원칙들이 실제 배포 현장에서 어떻게 작동하는지를 점검하는 자리였다. 사회자는 이 세션을 일부러 마지막에 배치했다고 밝히며, 이론과 실무 사이에 생기는 간극을 실용적으로 들여다보는 것이 목표라고 설명했다. 두 개의 패널에 아홉 명의 연구자가 올라 로봇 자동화 수요 조사부터 에이전트 안전 벤치마크까지 서로 다른 층위의 문제를 발표했다.

첫 패널의 화두는 거버넌스와 신뢰였다. 랜드연구소 연구자는 2천 명 규모의 미국 대표성 패널 조사를 소개하며, 응답자들이 AI 감독의 필요성에는 강하게 동의하면서도 그 일을 맡길 주체로는 다국적 협력체와 민관 파트너십을 가장 많이 골랐다고 전했다. 감독이 아예 필요 없다는 선택은 매우 적었고 외국 정부에 맡기는 데는 강한 거부감이 나타났다. 다만 중국과의 경쟁을 크게 의식할수록 미국 정부나 민간 기업 같은 자국 중심 모델로 선호가 기우는 긴장도 함께 관찰됐다.

규제 방식 자체를 문제 삼는 발표도 있었다. 한 발표자는 위험을 먼저 정량화하는 확률적 접근이 AI 안전 논의를 거의 독점하고 있고, 결함수 분석 같은 결정론적 안전 평가는 프런티어 AI 거버넌스에서 사실상 빠져 있다고 지적했다. 화학 산업의 세베소 사고나 항공기 충돌처럼 단일 사고가 규제를 바꾼 사례를 들며, 대형 사고 예방 체계를 AI에 적용하지 못할 기술적 이유는 없고 결국 제도와 감시 수준의 문제라고 주장했다. 같은 패널의 법학 연구자는 윤리 원칙에 집행력·종결성·가치 충돌 조정 장치가 없다는 한계를 짚고, EU AI법의 배포 전후 의무를 '설계에 의한 법적 보호'의 사례로 읽었다.

두 번째 패널은 구체적인 시스템과 데이터로 옮겨갔다. 이탈리아어 모델을 대상으로 한 레드팀 챌린지는 탈옥 기법을 여덟 가지 계열로 분류했고, 이 분류 체계를 심판 모델에 알려주자 탈옥 탐지 성능이 올랐다고 보고했다. 페르시아어 교육 사례 발표는 저자원 언어에서 문어체와 구어체가 뒤섞이고 이름 편향이 나타나는데도 모델이 확신에 찬 어조를 유지하는 문제를 지적했다. 벡터연구소 연구자는 온타리오주 병원 데이터 150만 건에서 추린 10만 8천여 명 코호트로 당뇨 환자의 족부 합병증 위험을 예측하되, 특징별 신경망을 따로 학습시켜 임상의가 모델의 판단 근거를 직접 감사할 수 있게 만들었다.

마지막 발표는 에이전트 안전 평가였다. 카네기멜런대 연구자는 사람·에이전트·도구가 만드는 삼자 관계에서 기존 안전 연구가 사람과 모델 사이만 봐왔다고 지적하며, 실제 유닉스 셸과 파일 시스템, 파이썬 인터프리터, 웹 브라우저에 연결되는 시뮬레이션 프레임워크를 소개했다. 선의와 악의가 섞인 다중 사용자 상황을 포함해 여덟 개 위험 범주에 걸친 365개 시나리오를 만들고, 환경의 최종 상태를 보는 규칙 기반 평가와 행동 궤적을 보는 심판 모델 평가를 함께 돌렸다. 규칙 기반 점수보다 심판 모델 평가에서 위험 행동이 더 많이 드러났는데, 시도했다가 실패한 경우까지 잡아내기 때문이다.

주요 인사이트

• 신뢰 부족의 원인을 묻자 패널들은 서로 다른 층위를 지목했다. 한 발표자는 안전을 강조하던 기업조차 경쟁에서 앞서자 자율 서약을 내려놓는다는 점을, 다른 발표자는 AI만이 아니라 거의 모든 제도에 대한 불신이 동시에 커지고 있다는 점을 들었다.
• 자동화 대상 선정이 기술 문제가 아니라 설계 원칙의 문제로 제시됐다. 조사 결과는 시간이 많이 드는 일보다 불쾌한 일을 자동화하라는 방향을 가리켰고, 성별과 소득 구간에 따라 그 기준이 달라졌다.
• 공정성 연구의 병목은 지식이 아니라 전달이었다. 발표자는 이를 지식과 실무 사이의 다리가 끊긴 상태로 설명하고, 보고 지침이 시간이 지나며 표준이 된 것처럼 공정성 점검도 연구 루틴에 편입돼야 한다고 봤다.
• 의료 현장에서는 모델이 한 번 틀리면 신뢰가 통째로 무너진다는 경험이 공유됐다. 해석 가능한 구조, 병원의 제한된 연산 자원에서 돌아가는 크기, 개인정보 위험이 실제 배포를 좌우하는 조건으로 꼽혔다.
• 시뮬레이션 기반 안전 평가에는 양면성이 지적됐다. 규모와 재현성을 얻는 대신 '시뮬레이션이 안전하다고 했으니 괜찮다'는 판단으로 굳어질 위험이 있어, 도구는 시뮬레이션하되 사용자 쪽부터 실제 사람으로 바꿔가는 절충이 제안됐다.

자주 묻는 질문

관련 AI 소식