AI 에이전트의 봇 탐지 회피 원리 — 8가지 신호와 Camoufox 스텔스 브라우저

핵심 메시지

• 봇 탐지는 하나의 영리한 검사가 아니라, 서로 들어맞아야 하는 작은 신호들의 묶음이며, 단 한 곳의 모순만으로도 전체 방문이 봇으로 판정된다.
• 탐지 신호는 서버 계층(HTTP 헤더)과 클라이언트 계층(자바스크립트가 측정하는 실제 기기 특성) 8가지로 나뉜다.
• navigator.webdriver, WebGL 렌더러, 폰트·캔버스·오디오 핑거프린트처럼 브라우저 엔진과 OS 깊숙한 곳에서 나오는 신호는 자바스크립트 값 몇 개를 덮어쓰는 것으로는 숨길 수 없다.
• Camoufox는 이런 신호들을 C++ 엔진 차원에서 패치해 모순을 없애지만, Cloudflare·Akamai 같은 상용 안티봇은 TLS·HTTP/2 계층까지 더 깊이 검사한다.

쉽게 이해하기

발표자는 같은 웹페이지를 평범한 브라우저로 열면 사람으로 통과하지만, AI 에이전트가 쓰는 자동화 브라우저로 열면 수 밀리초 만에 봇으로 표시된다는 점에서 출발한다. 브라우저 에이전트는 실제 사이트에 닿는 순간 봇으로 식별돼 무너지기 쉬운데, 그 이유를 8가지 탐지 신호와 스텔스 브라우저로 설명한다.

핵심은 봇 탐지가 하나의 검사가 아니라 서로 일치해야 하는 작은 신호들의 스택이라는 점이다. 진짜 사람은 실제 브라우저를 쓰기에 수천 개의 신호를 의식하지 않고도 일관되게 흘리지만, 봇은 그 모든 것을 위조하고 일관되게 유지해야 한다. 페이지는 단 하나의 모순만 잡아내면 되고, 판정 논리는 '한 검사라도 봇이라 외치면 전체 방문을 봇으로 본다'는 식이라 불리하다. 여기서는 캡차가 등장하지 않고 침묵 속에서 판정이 내려진다.

여덟 가지 검사는 두 계층으로 나뉜다. 서버 계층은 코드 실행 전에 도착하는 HTTP 헤더를 읽는데, 읽기도 위조도 값싸 가장 게으른 봇만 걸러낸다. 사용자 에이전트 문자열(headless Chrome·Python requests·curl이면 거부), Accept-Language 헤더, sec-fetch·accept 등 나머지 헤더 집합이 여기 속하며, 하나라도 빠지면 의심스럽다.

클라이언트 계층은 자바스크립트로 기기가 무엇을 주장하는지가 아니라 실제로 무엇인지를 측정한다. 자동화 표준이 참으로 설정하도록 정한 navigator.webdriver 플래그(프레임워크 전역 변수까지 노출), 데이터센터 서버에는 GPU가 없어 null이나 LLVMpipe 같은 소프트웨어 렌더러로 드러나는 WebGL 벤더·렌더러, 설치된 폰트로 거의 고유해지는 폰트 핑거프린트(윈도우라면서 Segoe UI가 없으면 모순), OS 크롬 때문에 바깥 창이 안쪽 페이지보다 큰 화면·창 기하, 그리고 하드웨어마다 미세한 차이를 남기는 캔버스·오디오 핑거프린트가 그것이다.

이런 신호는 브라우저 엔진과 그 아래 OS 깊은 곳에서 나오므로, 자바스크립트 값 몇 개를 덮어쓰는 스크립트로는 숨길 수 없다. 그래서 스텔스 브라우저는 보통 파이어폭스 같은 브라우저를 커스텀 빌드해야 한다. Camoufox는 이들을 C++ 엔진에서 직접 패치해, 데모에서 일반 Playwright는 봇으로 걸리지만 Camoufox는 navigator.webdriver가 false로 보고되고 폰트·WebGL·기하가 모두 들어맞아 사람으로 통과한다. 다만 이 페이지는 브라우저가 볼 수 있는 계층만 보여줄 뿐, Cloudflare·Akamai 같은 상용 스택은 TLS 핸드셰이크와 HTTP/2 프레임 배열, 헤더 순서까지 핑거프린팅한다.

주요 인사이트

• 탐지의 본질은 '일관성'이다. 개별 검사는 약해 보여도, 사람은 모든 신호가 자연히 들어맞는 반면 봇은 어딘가에서 자기 모순을 일으키기 쉽다. 판정이 최악값(worst-off)으로 작동하므로 한 곳만 어긋나도 전체가 봇으로 분류된다.
• 서버 계층(헤더)은 위조가 쉬워 게으른 봇만 거르고, 진짜 관문은 자바스크립트가 실제 기기를 측정하는 클라이언트 계층이다. navigator.webdriver와 프레임워크 전역 변수는 자동화 도구가 스스로를 드러내게 만든다.
• 데이터센터 환경은 흔적을 남긴다. GPU가 없는 서버는 WebGL 렌더러가 null이나 LLVMpipe로 보고되고, OS가 주장과 다른 폰트 구성을 드러내며 모순을 만든다.
• 자바스크립트 값을 덮어쓰는 스크립트로는 엔진·OS에서 나오는 신호를 가릴 수 없다. Camoufox처럼 엔진을 직접 패치해야 모순이 사라지지만, 그것도 TLS·HTTP/2까지 보는 상용 안티봇 앞에서는 한계가 있다.

자주 묻는 질문

관련 AI 소식