AI 사회공학 방어·AI 에이전트 신원·월드컵 사기·IBM OpenAI 협력 정리

핵심 메시지

• 운영체제에 통합된 LLM은 기기 전체 맥락을 보고 사회공학 공격을 걸러낼 수 있지만, LLM 자신도 프롬프트 주입에 취약해 완전한 해결책은 아니다.
• 전문가들은 사회공학이 사라지는 게 아니라 사람이 아닌 AI 비서·신뢰 모델·메모리 시스템을 노리는 '인터페이스 문제'로 옮겨갈 것이라고 봤다.
• 월드컵을 노린 'Operation Fan Trap' 사기 생태계에서 약 4천 개의 악성 도메인이 가짜 티켓·스트리밍·악성코드로 활동 중이다.
• 에스토니아는 AI 에이전트에 사람처럼 개인 ID 코드를 부여해 책임 추적과 권한 범위 제한을 시도하지만, 인증된 악성 에이전트가 더 위험할 수 있다는 경고가 나왔다.
• IBM은 OpenAI의 Daybreak 사이버 파트너 프로그램에 합류해 프런티어 AI 모델로 코드 취약점을 찾는 '시큐리티 하니스' 서비스를 출시했다.

쉽게 이해하기

IBM의 주간 사이버보안 팟캐스트 '시큐리티 인텔리전스'가 진행자 매트 카진스키와 데이브 베일스, 키미 패링턴, IBM 펠로 J.R. 랄프와 함께 AI 시대 보안 현안을 토론했다. 첫 주제는 다크리딩에 실린 칼럼에서 출발한 질문, 즉 운영체제에 내장된 LLM이 마침내 사회공학 공격을 기술적으로 막아줄 수 있느냐였다. 칼럼은 OS에 통합된 LLM이 이메일뿐 아니라 기기에서 벌어지는 모든 일을 종합해 공격을 탐지할 수 있고, 이는 2000년대 초 엔드포인트 보호 도구가 컴퓨터 바이러스를 줄인 것과 비슷한 변화가 될 수 있다고 주장했다.

패널은 가능성은 인정하면서도 한계를 분명히 했다. 사람이 공감과 압박, 긴급함에 흔들려 속는 것처럼 LLM도 '명령 평탄화'나 프롬프트 주입에 똑같이 취약하다는 것이다. 실제로 메타의 고객 응대 에이전트가 사용자 행세를 한 공격자에게 인스타그램 계정을 넘겨준 사례가 언급됐다. J.R. 랄프는 사람이 보안 결정을 잘 못하는 세 가지 이유로 충분한 맥락 부족, 공격자가 인지 과부하를 노린다는 점, 피싱 이메일을 잘 가려내지 못한다는 점을 들며, 결국 사람을 신뢰 결정에서 빼낼수록 공격이 어려워진다고 봤다.

두 번째 주제는 월드컵을 악용한 사기였다. 사이버 리서치·인텔리전스 랩이 'Operation Fan Trap'으로 명명한 연구에 따르면, 월드컵 브랜드를 사칭한 약 4천 개의 악성 도메인이 가짜 티켓 판매, 가짜 스트리밍 사이트, 자격증명 탈취, 악성코드 유포에 동원됐다. 패널은 이런 사기가 정교하다기보다 '산업화'되어 있다고 지적했다. 4년에 한 번뿐인 대형 이벤트로 사람들의 관심과 긴급함, 거래가 몰리면 경계심이 떨어지고, 공격자는 마케팅 기법을 범죄에 무기화한다는 것이다. 대응책으로는 브라우저 단위에서 일어나는 일을 들여다보는 새로운 센서로 텔레메트리를 SIEM·EDR과 연계하는 기술적 접근과, '공식가보다 좋은 거래는 사기로 의심하라'는 오래된 상식이 함께 제시됐다.

세 번째 주제는 에스토니아가 사람에게 개인 ID를 발급하듯 AI 에이전트에도 개인 식별 코드를 부여하는 방안이었다. 개별 신원을 주면 에이전트가 사용자의 모든 권한을 그대로 상속받는 대신 자기 신원에 맞게 권한을 좁힐 수 있고, 행위를 특정 에이전트로 추적할 수 있다는 장점이 있다. 다만 패널은 엔비디아가 수백만 개 에이전트를 예상하는 규모에서 기존 신원·접근 관리 구조가 무너질 수 있고, 에이전트 신원은 출처·소유자·목적·평판·권한까지 포함해야 하며, 무엇보다 인증된 악성 에이전트가 인증되지 않은 것보다 훨씬 위험할 수 있다고 경고했다.

마지막 세그먼트에서는 애플리케이션 보안 책임자 제이 카맛이 IBM과 OpenAI의 협력을 소개했다. IBM은 OpenAI의 Daybreak 사이버 파트너 프로그램에 합류해 '시큐리티 하니스'라는 애플리케이션 보안 서비스를 내놓았다. 이 서비스는 프런티어 AI 모델의 힘을 기업 환경에 맞게 통제하는 '하니스'로 감싸, 코드에서 단일 취약점뿐 아니라 여러 코드에 걸친 연쇄 취약점까지 찾아내고 모델이 실제로 악용 가능함을 안전하게 증명한다. 로그·감사·추적성 같은 기업 통제 아래 동작하며, IBM은 OpenAI 프런티어 모델에 조기 접근해 보안 검증 역량을 미리 갖추는 것을 협력의 핵심으로 꼽았다.

주요 인사이트

• 사회공학 방어의 무게중심이 '사람 교육'에서 '사람을 신뢰 결정에서 빼내는 기술 통제'로 이동하고 있다. 교육만으로 위협 전체를 없앨 수 없다는 인식이 패널 전반에 깔려 있었다.
• AI가 공격을 막는 동시에 새로운 공격면이 된다. 방어용 에이전트도 프롬프트 주입·환각에 노출되므로, 비판적 교차 검증을 하는 다중 에이전트 구조와 핵심 지점의 '휴먼 인 더 루프'가 함께 필요하다.
• 대형 이벤트는 그 자체가 '글로벌 공격면'이다. 관심과 감정이 고조될 때 경계심이 떨어진다는 점을 노려 사기가 산업화되므로, 비정상적으로 좋은 조건과 긴급함은 그 자체가 경고 신호다.
• 에이전트 신원은 사람 신원과 다르다. 짧게 쓰고 사라지는 일회성 에이전트부터 장기 운영 에이전트까지 형태가 다양해, 단기 토큰 발급 같은 새로운 신원·권한 관리 모델이 요구된다.
• 프런티어 AI 모델을 코드 보안에 직접 풀어놓는 대신 '하니스'로 통제하는 접근은, 보안 연구자가 하던 작업을 AI가 대규모로 수행하되 기업 통제 안에 두려는 현실적 절충안이다.

자주 묻는 질문

관련 AI 소식