AI 사회공학 공격·AI 웜·비인간 신원: IBM 보안 팟캐스트가 짚은 3가지 위협

핵심 메시지

• 공격자들이 메타의 AI 고객지원 에이전트를 속여 인스타그램 계정의 이메일을 자신들이 통제하는 주소로 바꾸게 한 뒤, 비밀번호를 재설정해 계정을 탈취했다(해당 취약점은 이후 수정됨).
• 패널은 AI가 지능(intelligence)은 높지만 경험에서 오는 '지혜(wisdom)'와 상식이 부족해, 명시적으로 금지하지 않으면 도움을 주려다 부적절한 요청까지 따른다고 지적한다.
• 토론토대 연구진이 오픈소스 LLM으로 기기에서 기기로 퍼지며 각 기기에 맞는 공격을 스스로 추론하는 자기복제형 'AI 웜'을 만들었다. 같은 방식을 취약점 탐지·패치 같은 방어에도 쓸 수 있다.
• 소포스 '2026 신원 보안 현황' 보고서에 따르면 응답자의 71%가 지난 1년간 신원 관련 침해를 겪었고, 성공한 신원 침해의 41%에 서비스 계정·API 같은 비인간 신원이 연루됐다.

쉽게 이해하기

이번 에피소드의 출발점은 메타의 AI 고객지원이 당한 사기다. 404 Media가 보도한 이 사건에서 공격자들은 정당한 계정 주인인 척 인스타그램의 AI 고객지원에 접근해, 계정 이메일을 자신들이 통제하는 주소로 바꾸게 했다. 에이전트는 그대로 따랐고, 공격자들은 그 이메일로 비밀번호를 복구해 계정을 차지했다. 진행자는 이미 수정된 취약점이지만 배울 점이 있다고 말한다.

패널의 진단은 '지능과 지혜의 차이'로 모인다. 제프 크룸은 AI를 '박사 학위 천 개를 가졌지만 평생 부모 집 지하실 밖으로 나가본 적 없는 사람'에 비유한다. 지식은 많아도 누군가 자신을 속이려 한다는 것을 알아채는 상식과 경험이 없다는 것이다. 시스템 프롬프트에 '도움이 되는 고객지원 비서'라고 적으면 AI는 요청을 만족시키려 최대한 애쓰기 때문에, 명시적으로 '하지 말라'고 알려주지 않으면 부적절한 요청도 수행하기 쉽다. 닉 브래들리는 AI에 없는 핵심 단어로 '지혜'를 꼽으며, 시간과 경험으로 쌓이는 직감을 AI는 갖지 못한다고 말한다.

두 번째 이야기는 토론토대 연구진이 오픈소스 LLM으로 만든 자기복제형 AI 웜이다. 이 에이전트는 일반적인 웜처럼 기기를 옮겨 다니며, 각 기기의 자원으로 로컬 모델을 돌려 어떤 취약점과 익스플로잇을 쓸지 스스로 추론한다. 패널은 모델이 점점 작아지는 추세 때문에 이런 일이 예견된 것이라고 보며, 같은 방식을 거꾸로 활용해 취약점을 찾아 보고하고 고치는 방어용 도구로 쓸 수 있다는 점도 강조한다. 오픈소스 모델을 쓴 이유 중 하나는 OpenAI나 앤스로픽처럼 플랫폼에서 사용을 차단할 주체가 없기 때문이라는 점도 짚는다.

마지막 주제는 비인간 신원(non-human identity)이다. 소포스의 5,000명 대상 조사에서 응답자의 71%가 지난 1년간 신원 관련 침해를 겪었고, 성공한 신원 침해의 41%에 서비스 계정·API 같은 비인간 신원이 연루됐다. 그런데 이런 자격증명을 정기적으로 점검하거나 교체하는 조직은 약 3분의 1에 불과하다. 닉은 그 이유를 '아무도 보고 있지 않기 때문'이라고 설명한다. 사용자 계정이 탈취되면 곧 들통나지만, 감시되지 않는 서비스 계정은 고장 날 때까지 방치된다.

제프는 에이전트 시대에는 잠깐 권한이 필요했다가 사라지는 일회성(ephemeral) ID가 폭증할 것이며, 최소 권한 원칙에 따라 꼭 필요한 만큼만, 정해진 시간 동안만 권한을 부여하는 시스템이 필요하다고 말한다. 그러나 많은 사람이 에이전트 프레임워크를 자기 PC의 최고 권한 계정으로 그냥 돌리고 있어 위험이 크다. 에피소드는 'AI가 만든 문제를 결국 AI로 풀게 될 것'이라는 다소 역설적인 전망으로 마무리된다.

주요 인사이트

• AI 에이전트를 고객 응대처럼 민감한 역할에 둘 때는 '무엇을 하라'보다 '무엇을 하지 말라'를 구체적으로 명시하는 가드레일이 더 중요하다. 도우려는 성향 자체가 공격면이 되기 때문이다.
• 사회공학은 사람에게도 여전히 통한다. AI가 속았다고 기술을 폐기할 일이 아니라, 사람과 AI 모두 같은 약점을 학습으로 보완해야 한다는 관점이다.
• 모델이 작아질수록 AI 웜처럼 기기 간에 모델 자체가 퍼지는 공격이 현실화된다. 같은 기술을 방어에 먼저 적용하는 쪽이 경쟁에서 앞선다.
• 비인간 신원은 '감시 사각지대'라는 점에서 위험하다. 일회성 권한 부여와 최소 권한, 정기적 점검·교체가 핵심 대응책이다.

자주 묻는 질문

관련 AI 소식