AI 보안 4단계 — 데이터·모델·사용 보호를 위한 발견·평가·통제·보고 전략

핵심 메시지

• AI 시스템 보안은 데이터·모델·사용을 보호하는 네 가지 역량, 즉 발견(discover)·평가(assess)·통제(control)·보고(report)로 '방어의 도넛'을 구성해 묶을 수 있다.
• 발견 단계의 핵심은 인가받지 않은 '섀도 AI'까지 찾아내는 것이다. 보이지 않는 것은 지킬 수 없기 때문이다.
• 조직 대부분은 모델을 직접 만들지 않고 외부에서 들여오므로, 허깅페이스 같은 곳의 모델을 소프트웨어처럼 스캔해 감염·악성코드 여부를 점검하고 펜테스트해야 한다.
• OWASP는 프롬프트 인젝션을 생성형 AI와 LLM에 대한 가장 흔한 공격으로 꼽으며, AI 게이트웨이로 들어오는 프롬프트를 검사하고 민감정보 유출을 막아야 한다.
• 마지막 보고 단계에서는 위험을 시각화하는 대시보드와 OWASP Top 10, MITRE AI 위험관리 프레임워크 같은 기준에 대한 컴플라이언스·감사 보고가 필요하다.

쉽게 이해하기

IBM 테크놀로지는 AI가 모든 일의 중심에 놓인 시대에, 정작 그 중심을 보호하는 장치는 빈약한 경우가 많다고 지적한다. 그래서 AI를 가운데 두고 방어 역량을 '도넛'처럼 둘러싸자고 제안한다. 이 도넛은 데이터 보안, 모델 보안, 사용 보안에 더해 이 모든 것이 돌아가는 인프라 보안과, 시스템 전체가 의도와 일치하도록 만드는 거버넌스 계층으로 묶인다.

도넛에 채워야 할 보안 역량은 네 묶음이다. 발견(discover), 평가(assess), 통제(control), 보고(report)다. 먼저 발견 단계에서는 클라우드와 온프레미스를 가리지 않고 환경 안의 모든 AI 사용을 찾아낸다. 알려진 사용을 목록화하는 것은 물론, 인가받지 않은 '섀도 AI'까지 드러내는 것이 중요하다. 보이지 않으면 지킬 수 없기 때문이며, 가능하면 에이전트를 일일이 배포하지 않는 에이전트리스 방식으로 발견하고, 발견한 시스템의 로그를 한곳의 데이터 레이크에 모아 위협 관리에 활용한다.

평가 단계에서는 AI 환경을 스캔해 알려진 취약점과 잘못된 설정을 찾고, 가능하면 바로잡는다. 이를 'AI 보안 태세 관리(AI security posture management)'라 부른다. 한때 정책에 맞았다가 어긋난(드리프트한) 부분을 찾아 다시 정렬하고, 섀도 AI도 통제 아래로 편입한다. 또한 펜테스트(침투 테스트)로 공격자가 시도할 법한 것을 미리 검증하고, 외부에서 들여오는 모델을 스캔한다. 대부분의 조직은 비용·시간·전문성 문제로 모델을 직접 만들지 않고 벤더나 오픈소스에서 가져오는데, 허깅페이스에만 15억 개가 넘는 모델이 있어 사람이 일일이 검수할 수 없으므로 소프트웨어처럼 악성코드·감염을 스캔해 제3자 위험을 줄여야 한다.

통제 단계에는 크게 두 부류의 장치가 있다. 첫째는 AI 게이트웨이로, 사용자가 넣는 프롬프트가 정당한지 판단하는 길목이다. OWASP가 생성형 AI·LLM에 대한 1순위 공격으로 꼽은 프롬프트 인젝션 같은 사회공학적 공격을 탐지해 차단하거나, 도입 초기에는 업무를 끊지 않도록 우선 모니터링·보고만 하다가 통제를 신뢰하게 되면 차단으로 전환할 수 있다. 탈옥(jailbreak)을 막는 가드레일도 여기에 둔다. 둘째는 프라이버시 보호로, 개인식별정보(PII)·개인건강정보·회사 기밀 같은 민감정보가 AI를 통해 외부로 빠져나가지 않도록 나가는 데이터를 통제한다.

마지막 보고 단계의 핵심은 위험 관리다. 모든 시스템에는 위험이 있고 어디까지 감내할지 결정해야 하는데, 그러려면 먼저 전체를 시각화해야 한다. 우선순위가 매겨진 위험을 한 화면에서 보여 주는 대시보드로 무엇이 치명적이고 무엇이 사소한지 판단하고, 자세히 파고들 수 있어야 한다. 그리고 컴플라이언스, 즉 규정·자체 보안 정책을 지키는지 확인하는 감사 보고가 필요하다. MITRE AI 위험관리 프레임워크나 OWASP Top 10 같은 기준에 자신을 매핑해 모든 것이 제대로 작동함을 증명할 수 있어야 한다.

주요 인사이트

• 보안의 출발점은 가시성이다. '보이지 않는 것은 지킬 수 없다'는 원칙에서 섀도 AI 발견이 첫 단추가 된다.
• 외부에서 들여온 모델은 제3자 위험을 안고 들어온다. 코드를 스캔하듯 모델도 악성코드·감염 여부를 스캔하고 펜테스트해야 한다.
• 프롬프트 인젝션은 OWASP가 꼽은 생성형 AI·LLM 대상 1순위 공격이다. AI 게이트웨이는 들어오는 공격을 막고, 프라이버시 통제는 나가는 민감정보를 막는 양방향 방어를 이룬다.
• 통제는 '모니터링 후 차단'으로 단계적으로 켤 수 있다. 도입 초기엔 업무 중단을 피하려 우선 관찰만 하다가 통제를 신뢰하게 되면 차단으로 넘어가는 방식이 현실적이다.
• 발견·평가·통제·보고는 각각 예방·탐지·대응·증명에 대응한다. 위험을 한곳에서 시각화하는 대시보드와 프레임워크 매핑이 없으면 정보에 근거한 보안 의사결정 자체가 불가능하다.

자주 묻는 질문

관련 AI 소식