다크 AI의 실체: FraudGPT·WormGPT 범죄 챗봇 시장을 조사한 범죄학 연구

핵심 메시지

• FraudGPT·WormGPT·EvilGPT처럼 '가드레일이 없다'고 광고하는 범죄용 챗봇은 종류가 많아 보이지만, 실제로는 같은 이름을 붙인 복제품이 대여섯 개씩 돌아다니는 수준이다.
• 범죄 커뮤니티 안에서도 이들 서비스를 향한 불신이 크고, 구독료만 받고 사라지는 2차 사기가 흔해 '진짜 판매자'를 자처하는 광고가 반복된다.
• 실제로 더 흔한 경로는 다크웹 전용 모델을 사는 것이 아니라, 깃허브나 허깅페이스에 이미 공개된 무검열 모델을 내려받아 로컬에서 돌리는 것이다.
• 탈옥 프롬프트를 모아 둔 유료 디스코드 서버, 훔친 계정과 API 키를 되파는 2차 시장처럼, 실제로 작동하는 시장은 브랜드화된 챗봇 바깥에 있다.
• 대응은 소문난 '다크 LLM'을 쫓는 데서 벗어나, AI 역량이 범죄 조직 안에서 상품화되는 상류 경로를 보는 데서 출발해야 한다.

쉽게 이해하기

호주 그리피스 대학교에서 기술·범죄 연구를 이끄는 앤드루 차일즈는 AI 안전 포럼 2026 발표에서 자신을 'AI 범죄 전문가'가 아니라 온라인 불법 시장 연구자라고 소개했다. 그가 이 주제로 들어온 계기는 호주 사이버보안센터, 영국 내무부, FBI, 유로폴 같은 기관들이 최근 몇 년 사이 '다크 AI 도구'라는 표현으로 경고를 내놓기 시작했기 때문이다. 상용 챗봇을 악용하는 수준을 넘어, 범죄자 전용 AI가 별도의 그림자 시장을 이루고 있다는 우려였다. 불법 시장 연구자의 눈으로 보면 이런 시장의 핵심은 '기술 장벽을 낮춰 범행 기회를 늘리는 것'이다. 지난 20여 년 사이버범죄의 흐름이 그랬다. 예전에는 직접 실력 있는 해커여야 했지만, 이제는 랜섬웨어 스크립트나 도구를 사서 범행할 수 있게 됐다. AI도 같은 경로를 밟을 것이라는 예상이 자연스럽게 나온다. 그래서 연구진은 다크웹 포럼, 텔레그램 채널, 디스코드 서버 등을 가로질러 실제로 무엇이 거래되는지를 디지털 민족지 방식으로 들여다봤다.

결과는 예상과 달랐다. 광고 자체는 아주 잘 보인다. '프롬프트를 거절하지 않는 무제한 AI', '검열 없는 가장 강력한 어시스턴트' 같은 문구가 사기, 피싱, 사회공학 용도로 노골적으로 내걸린다. 그런데 생태계를 들여다보면 이름만 바꾼 복제품이 대부분이고, 같은 브랜드를 쓰는 판매자가 여럿이라 '진짜 판매자는 나뿐'이라는 광고가 반복된다. 구독료를 냈다가 그대로 당하는 2차 사기가 벌어지면서, 정작 범죄 커뮤니티 안에서도 이 시장을 신뢰하지 않는다.

기술적 실체도 검증이 어렵다. 이런 모델들이 실제로 다크웹 자료로 학습됐는지, 아니면 기존 공개 모델을 감싼 껍데기에 불과한지 확인할 방법이 없다. 존재하는 서비스들도 구독료가 아니라 다크웹 암호화폐 시장 광고로 수익을 내는 등, 흔히 상상하는 형태와는 다르게 돈을 번다.

발표자는 이 '김빠지는 결론'이 오히려 유용하다고 말한다. 예방은 문제를 어떻게 정의하느냐에 따라 달라지는데, 브랜드화된 다크 LLM만 쫓다 보면 조직범죄가 실제로 AI를 끌어들이는 다른 경로를 놓친다는 것이다. 실제로 커뮤니티에서 더 자주 추천되는 것은 깃허브나 허깅페이스에 공개된 무검열·로컬 모델이다. 사용자 쪽 연산 부담은 커지지만, 사기 목적으로 마케팅되지 않은 모델이라 오히려 안전하고 효율적이라는 절충이 성립한다.

그 밖에도 탈옥 기법을 함께 개발하는 유료 디스코드 서버, 유행 해시태그에 올라타 마약을 광고하는 방식, 자금세탁에 쓰이는 암호화폐 거래 봇, 그리고 훔친 챗GPT 계정과 AI API 키를 되파는 2차 시장이 관찰됐다. 발표자의 결론은 '다크 AI 수요는 분명히 존재하지만 아직 공급이 따라오지 않았다'는 것이다. 공급 쪽 문제가 몇 가지만 풀리면 이 시장은 실제로 형성될 수 있다.

주요 인사이트

• '범죄용 AI가 이미 상품화됐다'는 보안 업계의 통념은 광고 문구를 실태로 착각한 결과일 수 있다. 광고의 가시성과 시장의 성숙도는 별개다.
• 범죄자들이 무검열 공개 모델로 옮겨간다는 사실은, 규제의 초점이 '악성 브랜드 차단'보다 모델 가중치의 공개·배포 방식에 있어야 함을 시사한다.
• AI 범죄의 실질적 병목은 모델 자체가 아니라 계정·API 키 같은 접근 자산이다. 탈취된 AI 계정의 재판매 시장이 그 증거다.
• 탈옥 프롬프트가 6달러짜리 구독 상품이 되는 흐름은, 범죄 역량의 상품화가 모델이 아니라 '사용법' 계층에서 먼저 일어나고 있음을 보여준다.
• 범죄학의 전통적 접근인 하류 피해 대응만으로는 부족하고, 조직범죄 연구가 강조하는 상류 네트워크 추적이 AI 안전 논의에도 필요하다.

자주 묻는 질문

관련 AI 소식