섀도 AI와 에이전트 리스크 대응법: CIO를 위한 거버넌스·레드팀·회귀 테스트 점검

핵심 메시지

• 기반모델과 학습 데이터, 실행 환경이 동시에 바뀌기 때문에 '전에 되던 것이 지금도 되는지' 확인하는 전통적 회귀 테스트가 성립하지 않는다.
• 개발자가 아닌 현업 직원이 만든 도구가 사내에 배포되고, 에이전트가 직원의 자격증명을 받아 회사 밖에서 일하면서 기업은 가시성을 잃는다.
• 섀도 AI는 막을 수 없으므로 금지 대신 샌드박스·토큰 사용량 계측·개인정보 유출 감시 같은 관측 가능한 통제로 옮겨가야 한다.
• 에이전트에 인사 정책을 그대로 적용할 수 없다. 상위 에이전트가 오케스트레이션 계층을 통해 하위 에이전트를 호출하므로 단계마다 거버넌스가 필요하다.
• 레드팀에는 '뭐든 깨 보라'가 아니라 데이터 유출·악성코드 주입처럼 방어 대상 목록을 명확히 지정해야 조직이 버틴다.

쉽게 이해하기

CXOTalk 919회는 기업 안에서 AI 에이전트가 통제 없이 확산되는 상황을 CIO의 시각에서 짚었다. 출연자는 데이터 과학자 앤서니 스크리피냐노 박사와, 세계 최대 규모 기업들의 CIO를 자문하는 팀 크로퍼드다. 논의의 출발점은 한 번에 두 가지를 바꾸지 말라는 테스트의 기본 원칙이 무너졌다는 인식이다. 새로 만든 것이 도는지뿐 아니라 예전에 되던 것이 여전히 되는지 증명해야 하는데, 기반모델과 학습 데이터와 실행 환경이 함께 바뀌는 와중에 자기 코드까지 고치고 있으면 원인을 분리할 수 없다.

두 번째 축은 섀도 AI다. 크로퍼드는 소셜미디어와의 유비를 든다. 모두에게 발언권을 준 것이 장점이었고, 동시에 그것이 단점이었다는 것이다. 지금은 개발자가 아닌 재무·마케팅 부서 직원이 바이브 코딩으로 만든 도구가 사내에 쓰이고, 사용자가 자기 자격증명을 에이전트에 넘겨 대신 일하게 하는 순간 그 작업은 기업 경계 밖에서 벌어져 회사가 볼 수 없게 된다. 백엔드 구조 탓에 에이전트는 사용자가 생각하는 것보다 더 많은 곳에 접근할 수 있다는 점도 지적됐다.

그렇다면 금지해야 하나. 스크리피냐노의 답은 반대다. 섀도 AI를 막는 것은 산소를 막는 것과 같고 두더지잡기식 대응은 지속 가능한 전략이 아니라는 것이다. 대신 신뢰할 수 있는 도구와 데이터를 갖춘 샌드박스를 제공하고 프롬프트 작성과 테스트를 가르치되, 데이터가 얼마나 들어오고 나가는지와 어디로 가는지를 보는 통제를 함께 건다. 토큰을 세어 과다 사용자를 식별하고, 개인식별정보 반출 금지와 가치 있는 데이터가 대가 없이 조직을 떠나는지를 감시하는 방식이 예로 나왔다.

에이전트에 인사 정책을 적용하면 되지 않느냐는 시청자 질문에 크로퍼드는 명확히 아니라고 답했다. 규모와 속도, 복잡도가 다르고, 상위 에이전트가 오케스트레이션 계층을 통해 하위 에이전트를 호출하는 구조에서는 단계마다 거버넌스가 필요하며 감사를 위한 설명 가능성도 아직 없기 때문이다. 실행 방안으로 거론된 레드팀에 대해서도 스크리피냐노는 '깰 수 있으면 깨 봐라'는 지시가 말이 안 된다고 했다. 데이터 유출이나 악성코드 주입처럼 걱정하는 항목을 다섯 가지쯤 명시해야 방어 측도 무엇을 막는지 알고 공정한 싸움이 된다는 것이다.

크로퍼드는 여기에 한 겹을 더한다. 요구 속도가 빨라져 곧 자동화는 선택이 아니게 되고, 레드·블루·그린팀의 작업도 상시로 돌아가는 에이전트 집단이 맡아야 한다는 것이다. 그가 던진 사고 실험은 모든 것이 제로데이여서 패치를 무조건 자동 적용해야 한다면 배포 전 테스트가 사라진 조직은 나머지 결정을 어떻게 바꿔야 하는가였다. 휴먼 인 더 루프에 대해서는 정답이 없다는 것이 정답이라는 인정과 함께, 규제 때문이든 윤리 때문이든 자신이 어느 위치에 있는지를 의도적으로 알고 환경 변화 속도에 맞춰 계속 재평가하라는 주문이 나왔다.

주요 인사이트

• 생성형 AI의 실패는 단순히 빨라지는 것이 아니라 증폭된다. AI가 만든 콘텐츠를 다른 AI가 다시 학습·소비하기 때문에, 실수는 더 빨리가 아니라 더 혼란스럽게 늘어나며 복구 속도가 확산 속도를 따라가지 못한다.
• 도구부터 고르려는 조직에 스크리피냐노는 먼저 세 가지를 묻는다. 우리가 풀려는 문제가 무엇인가, 풀었다는 것을 어떻게 알 것인가, 의도하지 않은 사용으로 무엇이 벌어질 수 있는가. 답할 수 없다면 다음 단계로 가는 것 자체가 과실에 가깝다는 입장이다.
• 새로 필요한 역할로는 AI에 문제 맥락을 넣어 주는 컨텍스트 엔지니어가 꼽혔고, 기존 역할인 레드팀은 중요도가 크게 올라갔다. 여기에 비용 축이 추가된다. 가치는 기회에서 비용을 뺀 것이며, 여러 사람이 공유하는 자율 에이전트가 다른 에이전트를 발견하고 임시 에이전트를 만들어 내는 상황에서 비용을 누구에게 청구할지는 자원에 태그를 붙이는 방식으로 풀리지 않는다.
• 거버넌스가 간단해 보인다면 아직 이해하지 못한 것이라는 말도 나왔다. 사용자별 접근 권한 위에 에이전트가 무엇을 할 수 있는지를 정하는 계층이 있고 그 위에 지식 거버넌스 계층이 얹히는데, 데이터는 ServiceNow와 Salesforce, SAP처럼 여러 시스템에 흩어져 각자의 거버넌스를 갖는다. 메타데이터와 의미 정보를 넘어 데이터를 둘러싼 맥락까지 봐야 하지만 아직 풀지 못한 문제라, 당분간은 아키텍처를 의도적으로 단순화할 수밖에 없다는 현실 인식이 뒤따랐다.
• 마무리 발언에서 스크리피냐노는 AI가 일자리를 모두 없애지는 않을 것이라 보면서도, 커리어까지 바이브 코딩으로 넘기지 말라고 조언했다. 원리를 익히고 변화의 방향을 이해해, 예전에는 풀 수 없던 새 문제로 옮겨가라는 것이다.

자주 묻는 질문

관련 AI 소식