에이전틱 AI 위험과 거버넌스: 자율성이 키우는 리스크와 4단계 가드레일

핵심 메시지

• 에이전틱 AI는 한 모델의 출력을 다른 모델의 입력으로 넘기며 스스로 목표를 세우고 행동한다는 점에서 기존 머신러닝과 다르다.
• 위험을 키우는 근원은 자율성 자체이며, 불충분한 명세·장기 계획·목표 지향성·사람 없는 실행이라는 네 가지 특징에서 파생된다.
• 거버넌스는 기술적 안전장치, 프로세스 통제, 책임 구조라는 여러 층으로 동시에 설계해야 한다.
• 가드레일은 모델 계층, 오케스트레이션 계층, 툴 계층 각각에 따로 필요하며 배포 전 레드팀 테스트가 권장된다.
• AI가 잘못된 판단을 내렸을 때 책임은 기계가 아니라 이를 도입한 조직에 남는다.

쉽게 이해하기

챗봇이나 추천 엔진과 달리 에이전틱 AI는 목표를 설정하고 결정을 내리고 직접 행동까지 수행한다. 영상에 나온 IBM 전문가들은 이 방식의 핵심 차이를 한 AI 모델의 출력이 다시 다른 AI 모델의 입력으로 들어간다는 구조에서 찾는다. 정해진 입력에 예측 가능한 출력을 내놓던 고전적 머신러닝과 달리, 판단이 판단 위에 쌓이는 셈이다.

이들은 자율성에서 파생되는 네 가지 특징을 위험의 근원으로 꼽는다. 첫째는 불충분한 명세로, 폭넓은 목표만 주어질 뿐 그것을 어떻게 달성할지에 대한 지시는 없다. 둘째는 장기 계획으로, 이전 결정 위에 다음 결정이 쌓인다. 셋째는 목표 지향성이고, 넷째는 사람이 개입하지 않은 채 시스템이 영향을 미치는 상황이다. 발표자는 자율성이 곧 위험 증가라고 요약한다.

문제는 많은 조직이 아직 생성형 AI 단계의 위험도 따라잡지 못했다는 점이다. 에이전틱 AI는 잘못된 정보, 의사결정 오류, 보안 취약점 같은 기존 위험을 그대로 증폭시키는데, 정작 궤도를 수정해줄 사람과 도메인 전문가는 더 줄어든다.

대응책으로 제시된 것은 여러 층으로 이뤄진 거버넌스다. 기술적 안전장치에는 시스템이나 개별 요청을 멈출 수 있는 중단 가능성, 사람의 승인을 기다릴 수 있는 구조, 개인정보 탐지·마스킹 같은 민감정보 처리가 포함된다. 프로세스 측면에서는 AI가 절대 자율적으로 해서는 안 될 행동을 정하는 위험 기반 권한, 결정 경로를 되짚을 수 있는 감사 가능성, 지속적인 성능 모니터링이 필요하다.

가드레일은 에이전트의 구성 요소별로 따로 놓아야 한다. 모델 계층에서는 조직 정책이나 인간의 윤리적 가치에 어긋나는 행동을 유도하려는 악의적 시도를 걸러내고, 오케스트레이션 계층에서는 무한 루프를 탐지해 비용 사고를 막으며, 툴 계층에서는 역할 기반 접근 통제로 에이전트마다 쓸 수 있는 도구를 제한한다. 배포 전에는 레드팀으로 취약점을 드러내고, 배포 후에는 환각이나 규정 위반을 잡아내는 자동 평가를 계속 돌리라는 것이 이들의 권고다.

주요 인사이트

• 위험 목록을 하나하나 정의하는 것보다 중요한 것은 그 목록이 왜 길어졌는지를 이해하는 일이다. 발표자들은 개별 위험 설명을 생략하면서도 목록 자체를 보여준 이유를 거버넌스의 필요성을 체감하게 하기 위해서라고 밝힌다.
• 가드레일을 시스템 전체에 하나만 두는 접근은 통하지 않는다. 모델·오케스트레이션·툴이라는 서로 다른 지점에서 서로 다른 종류의 사고가 나기 때문이다.
• 무한 루프 탐지가 사용자 경험이 아니라 비용 관점에서 강조된다는 점이 눈에 띈다. 자율 실행은 실수도 자동으로 반복하기 때문에 청구서가 먼저 터질 수 있다.
• 감사 가능성은 사후 책임 규명의 문제만이 아니다. 결정 경로를 되짚을 수 없다면 무엇을 고쳐야 하는지도 알 수 없다.
• 영상의 결론은 기술이 아니라 책임의 소재로 향한다. AI에게 대신 행동할 권한을 주기 전에 가드레일을 갖추라는 요구는 곧 조직이 결과를 떠안는다는 전제에서 나온다.

자주 묻는 질문

관련 AI 소식