AI 거버넌스와 AI 보안 차이: IBM이 정리한 AI 위험 감축 프레임워크와 통제 항목

핵심 메시지

• AI 위험은 성격이 다른 거버넌스와 보안이라는 두 축으로 나눠 접근해야 한다.
• 거버넌스는 잘못된 모델과 데이터로 조직이 스스로 만든 문제를, 보안은 내부자나 외부 공격자가 의도적으로 일으키는 문제를 다룬다.
• 2025년 IBM 데이터 유출 비용 보고서에 따르면 조사 대상 조직의 63%는 거버넌스 정책 자체가 없었다.
• 생성형 AI에서 가장 큰 보안 위협으로 프롬프트 인젝션이 지목되며, 에이전트형 AI로 갈수록 권한 통제가 더 중요해진다.
• 두 축을 따로 노는 원이 아니라 AI를 감싸는 겹겹의 방어층으로 설계할 때 위험이 실질적으로 줄어든다.

쉽게 이해하기

IBM Technology의 이 영상은 AI 도입이 늘어나는 만큼 커지는 위험을 어떻게 줄일지를 거버넌스와 보안이라는 두 갈래로 정리한다. 두 영역은 겹치는 부분이 있지만 주로 챙기는 담당자도, 막으려는 사고의 성격도 다르다. 거버넌스는 대체로 최고위험책임자가, 보안은 최고정보보안책임자가 주도한다는 설명이다.

거버넌스가 다루는 문제는 스스로 낸 상처에 가깝다. 출처가 불분명한 모델을 가져다 쓰거나 학습이 제대로 되지 않은 경우처럼, 의도하지 않았지만 조직이 자초한 결과다. 여기서 나오는 피해는 혐오·욕설 표현, 편향, 시간이 지나며 모델이 어긋나는 드리프트, 지식재산권 문제, 환각 같은 형태로 나타난다.

보안이 다루는 문제는 반대로 누군가 의도를 갖고 일으킨다. 규정을 어기는 내부자일 수도, 시스템을 노리는 외부 공격자일 수도 있다. 판단 기준으로는 기밀성·무결성·가용성이라는 고전적인 세 요소가 그대로 적용돼, 민감정보가 밖으로 빠져나가는 일, 데이터 오염을 통한 조작, 서비스 거부 공격을 각각 막아야 한다.

통제 수단도 두 축에서 다르게 설계된다. 거버넌스 쪽은 규칙을 문서로 명시하고 책임 소재를 정하는 일이 핵심인데, 결승선을 정의한 적이 없으면 성공했는지 알 길이 없다는 지적이 인상적이다. 보안 쪽은 예방·탐지·대응이라는 세 단계로 접근하며, 모델 침투 테스트와 자동화된 프롬프트 인젝션 테스트가 구체적 수단으로 언급된다.

마지막으로 영상은 두 축을 통합한 계층 구조를 제시한다. 보호 대상인 AI를 한가운데 두고 그 바깥에 사용 사례 발굴, 모델 관리, 위험 관리, 성능 모니터링, 규제 준수, 수명주기 관리로 이뤄진 거버넌스 층을 두르고, 다시 그 바깥에 섀도 AI 탐지, 보안 태세 관리, 모델 스캔, AI 방화벽, 위협 모니터링, 대시보드로 이뤄진 보안 층을 두르는 방식이다.

주요 인사이트

• 모델 계보 관리가 강조된다. 대부분의 조직은 모델을 직접 만들지 않고 공개 저장소에서 가져오기 때문에, 진짜 원본인지 누가 손댔는지 추적할 수 있어야 한다는 것이다.
• 섀도 AI는 승인 없이 만들어져 조직 안에서 돌아가고 있는 AI를 뜻하며, 데이터 유출 경로가 될 수 있어 먼저 찾아내는 것이 보안 층의 출발점으로 제시된다.
• AI 방화벽 또는 게이트웨이는 사용자와 AI 사이에 놓여 들어가는 프롬프트와 나오는 응답을 모두 검사한다. 프롬프트 인젝션으로 보이면 그 자리에서 차단하고, 유출이 의심되면 응답을 가리거나 막는 실시간 방어다.
• 학습 데이터의 지식재산권 문제는 양방향이다. 우리 자산이 새어나가는 것뿐 아니라, 권리 없는 자료로 학습한 모델이 소송 위험을 만드는 것도 거버넌스의 관심사다.
• 에이전트형 AI가 퍼질수록 권한 없는 접근을 막는 일의 중요성이 커진다는 점이 언급된다. 자율성을 가진 에이전트에 많은 권한을 주는 만큼 통제가 실패했을 때의 파장도 커지기 때문이다.

자주 묻는 질문

관련 AI 소식