AI 스웜 위협 정리: 자율 조정 봇 무리가 여론과 기업 평판을 흔드는 방식과 대응책

핵심 메시지

• AI 스웜의 새로운 점은 개별 봇의 성능이 아니라 사람 지시 없이 서로 조정하며 움직이는 집단 행동이다.
• 메시지 단위로는 사람과 구분되지 않기 때문에, 탐지의 초점을 개별 계정에서 계정 사이의 조정 패턴으로 옮겨야 한다.
• 스웜은 수많은 소규모 실험으로 어떤 메시지가 먹히는지 학습해 성공한 문구를 확산시키는 자가 최적화 능력을 갖는다.
• AI가 소비하도록 최적화된 가짜 페이지를 대량으로 뿌리면 그 내용이 모델 가중치에 굳어져 미래 AI의 사실 판단까지 오염된다.
• 플랫폼의 지표와 수익 구조가 오히려 스웜을 방치하게 만드는 유인으로 작동한다는 점이 대응을 어렵게 한다.

쉽게 이해하기

이 대담은 사이언스에 실린 22인 공저 연구를 함께 쓴 신테프의 다니엘 틸로 슈뢰더와 BI 노르웨이 경영대학원의 요나스 쿤스트가 나눈 이야기다. 두 사람은 지난 2년간의 연구들이 대형 언어모델의 설득력을 반복해서 확인했고, AI 스웜은 그 설득력에 조정 능력을 얹은 것이라고 설명한다.

과거 봇 네트워크가 중앙 지휘를 받았다면, 지금은 인간 감독이 줄어들며 벌집 같은 창발적 행동으로 옮겨 가고 있다. 추론 비용이 싸지면서 선거 같은 특정 시점에만 동원되던 캠페인이 장기간 유지될 수 있게 됐고, 에이전트는 지역 환경을 파악해 서사를 상황에 맞게 조정한다.

연구자들은 스웜이 네트워크 구조를 읽고 중심성이 높은 계정을 노리거나, 아예 자기 계정을 중심 위치에 심어 영향 경로를 넓힐 수 있다고 본다. 또한 계정 하나가 한 사람을 흉내 내는 것을 넘어, 이메일과 여러 소셜 플랫폼 계정을 함께 갖춘 '페르소나' 단위로 움직이기 때문에 탐지는 플랫폼을 가로질러 이뤄져야 한다고 강조한다.

위협의 목록은 길다. 다수가 지지한다는 착시를 만들어 합의를 날조하고, 반대로 서로 다른 진영에 다른 서사를 심어 사회를 더 쪼갤 수 있다. 정치인·기자·내부고발자와 그 가족을 겨냥한 표적 괴롭힘으로 비판적 목소리를 물러나게 만들 수도 있다. 대담자들은 이것이 정치에 한정되지 않으며, 가짜 불매 운동이나 안전성 의혹을 대량으로 만들어 기업 브랜드를 공격하거나 임원을 사퇴 압박하는 데도 쓰일 수 있다고 말한다.

대응책으로는 학계·시민사회·NGO가 위협 정보를 실시간으로 공유하는 분산형 관측소, 플랫폼 데이터에 대한 독립 연구자 접근 보장, 그리고 격리된 환경에서 미래의 스웜 공격을 시뮬레이션해 탐지 체계를 미리 단련하는 에이전트 기반 레드팀이 제시된다. 이미 표적이 된 사람에게 사후에라도 알려 바로잡는 일도 중요한 전략으로 꼽힌다.

주요 인사이트

• 메시지 자체로는 이제 판별이 어렵다. 생성된 텍스트가 사람이 쓴 글보다 더 인간적으로 느껴진다는 연구들이 있고, 소셜 네트워크의 대화는 띄엄띄엄 이뤄져 어색함이 드러날 틈도 적다.
• 가장 큰 걸림돌 중 하나는 데이터 접근이다. 플랫폼이 API 데이터를 닫거나 비싸게 매기는 탓에 연구자들이 탐지 체계를 만들 재료 자체를 얻지 못한다고 두 사람은 토로한다.
• 메타데이터에 오타나 타이핑 속도 같은 '인간의 흔적'을 심어 인증하자는 제안에 두 사람 모두 회의적이다. 그런 특징은 모델이 흉내 낼 수 있고, 애초에 사람도 다른 곳에서 문장을 복사해 붙여 넣기 때문이다.
• 진입 장벽은 이미 낮다. 침실에서 돌릴 수 있는 수준의 시뮬레이션이 존재하고, 사람이 마지막에 복사·붙여넣기만 하는 '사이버 프로파간다' 형태의 서비스는 구매까지 가능하다고 언급된다.
• 좋은 목적의 스웜도 가능하지만 딜레마가 있다. 팩트체크에 쓸 수 있는 반면, 그런 사용 자체가 정치적 목적의 스웜 활용을 정상화한다는 부작용이 따른다.

자주 묻는 질문

관련 AI 소식