AI 에이전트 웹 자동화: 크롬 개발자도구 프로토콜과 3단 사다리로 캡차까지 통과시킨 방법

핵심 메시지

• 크롬 개발자도구 프로토콜로 브라우저를 몰면 에이전트의 클릭과 키 입력이 사람 것과 똑같은 경로로 크롬 안을 지나간다. 사이트 입장에서 둘을 구분할 단서가 사라진다.
• 발표자는 MCP 서버 대신 셸에서 쓰는 명령줄 도구를 권한다. 성공률은 양쪽 모두 83% 안팎으로 비슷했지만, 같은 과제에 MCP는 71번의 왕복과 8분이 걸린 반면 명령줄 방식은 7턴과 1분 미만으로 끝났다.
• 동작의 기본 단위는 '감지 → 행동 → 검증' 루프다. 검증은 반드시 행동과 다른 채널로 해야 한다. 클릭이 먹혔는지를 클릭에게 묻지 말고 네트워크나 화면을 봐야 한다는 것이다.
• 사람 흉내는 3단 사다리로 관리한다. 자바스크립트 합성 클릭에서 시작해, 통하지 않으면 프로토콜의 진짜 입력으로, 그래도 막히면 흔들림과 의도적 오버슈트가 섞인 실제 마우스 궤적으로 한 칸씩만 올라간다.
• 가장 어려운 관문은 결정적인 코드가 전체 흐름을 몰고 에이전트는 라운드마다 이미지를 한 번 보는 일만 맡는 분업으로 넘겼다. 라운드마다 만료 시계가 돌기 때문에 속도가 승부를 갈랐다.

쉽게 이해하기

발표자는 이 강연을 준비하다가 OpenAI로부터 '웹 브라우저를 이용한 사이버 악용'을 이유로 계정 정지 경고를 받았다고 밝히며 시작한다. 문제가 된 작업은 사람이 전혀 개입하지 않은 채 에이전트가 여러 종류의 봇 차단 관문을 통과하게 만든 것이었고, 경고는 이후 설명을 거쳐 철회됐다고 한다. 그가 원한 것 자체는 단순하다. 예약을 하고 메일을 보내고 양식을 채우는 일을 자기 대신 에이전트가 웹에서 해주는 것이다.

문제는 사람이 아닌 무언가가 페이지를 클릭하기 시작하면 웹페이지가 반격한다는 점이다. 이 반격을 이기는 전제로 발표자는 한 장짜리 명제를 내놓는다. 크롬 개발자도구 프로토콜로 구동되는 브라우저는 사이트가 보기에 마우스를 쥔 사람과 다르지 않다는 것이다. F12를 눌렀을 때 뜨는 그 패널이 쓰는 프로토콜을 에이전트도 그대로 말할 수 있고, 그렇게 들어간 입력은 사용자의 입력과 같은 통로를 지난다.

그다음은 도구 선택이다. 발표자는 에이전트에게 MCP 서버가 아니라 명령줄 도구를 쥐여주라고 말하는데, 근거는 능력이 아니라 재사용성과 속도, 비용이다. 명령의 순서는 한 번 프로그램으로 적어두면 모델을 거치지 않고 천 번을 다시 돌릴 수 있지만, MCP는 매 턴마다 모델을 때린다. 토큰 비용 면에서도 명령줄 방식이 훨씬 저렴하다는 보고를 함께 인용한다.

프로토콜의 표면적은 넓지만 필요한 것은 일부다. 발표자는 이를 에이전트가 갖게 되는 '디지털 감각'으로 정리하는데, 페이지를 보는 것은 문서 구조와 접근성 트리와 스크린샷이고, 듣는 것은 네트워크 트래픽과 콘솔 로그이며, 조작하는 것은 클릭과 키 입력이다. 이 감각들을 감지·행동·검증 루프에 넣고 돌리다가 루프가 닫히지 않으면, 그것이 페이지가 저항하고 있다는 신호이자 사다리를 한 칸 올라가라는 뜻이 된다. 사다리는 공짜에 즉시 끝나는 합성 클릭에서 시작해 프로토콜의 진짜 입력을 거쳐, 시각 능력과 사람 같은 손의 궤적까지 올라간다.

사례는 난이도 순으로 이어진다. 아웃룩 웹 화면에서 개인화된 메일을 대량 발송하는 일은 1단으로 충분했고, 여기서 공식 API와 달리 앱 등록이나 관리자 승인이 필요 없는 웹 화면이 사실상의 범용 API가 된다는 관찰이 나온다. 반면 대형 쇼핑몰의 장바구니 버튼은 같은 합성 클릭을 오류도 없이 조용히 무시했는데, 크롬이 모든 이벤트에 신뢰 여부를 도장처럼 찍어두기 때문이다. 발표자는 시연에 앞서 변호사 조언에 따라 모든 실험이 자신이 소유한 인프라와 자신이 운영하는 계정에서만 돌아간다고 못박았고, 남길 것은 캡차 자체가 아니라 '탐색해서 풀고 통한 경로를 코드나 에이전트 스킬로 적어둔다'는 규율이라고 정리했다.

주요 인사이트

• 봇 탐지의 상당 부분이 '무엇을 했는가'가 아니라 '어떤 경로로 들어온 입력인가'에 걸려 있다. 크롬이 이벤트마다 신뢰 여부를 표시하기 때문에, 같은 클릭이라도 자바스크립트로 만든 것은 조용히 버려지고 프로토콜의 입력 경로로 들어온 것은 통과한다.
• 실패가 오류로 나타나지 않는다는 점이 자동화에서 가장 위험하다. 장바구니 버튼 사례처럼 아무 일도 일어나지 않는 침묵이 곧 거부이기 때문에, 행동과 다른 채널로 결과를 확인하는 검증 단계가 루프에 반드시 있어야 한다.
• 모델을 매 단계에 끼워 넣는 설계는 시간 제한이 있는 과제에서 구조적으로 진다. 라운드마다 만료되는 관문에서는 왕복 지연이 쌓이는 순간 풀 수 있는 문제도 시간 초과로 실패한다.
• 요소를 잡을 수 없게 감춰둔 방어는 좌표로 우회된다. 닫힌 섀도 루트와 교차 출처 프레임 안에 숨은 체크박스는, 프레임이 화면 어디에 있는지 물어보고 계산한 좌표에 진짜 클릭을 쏘는 방식으로 넘어갔다.
• 사람다움은 정적인 특징이 아니라 움직임의 궤적이다. 조각을 끌어다 맞추는 퍼즐형 관문은 드래그 경로를 통째로 샘플링하므로, 부드럽게 가속했다가 목표를 살짝 지나친 뒤 되돌아오는 궤적까지 만들어야 통과한다.

자주 묻는 질문

관련 AI 소식