브라우저 유즈로 퍼플렉시티 코멧 클론 만들기: 웹 자동화 AI 에이전트 원리

핵심 메시지

• 코멧은 검색 답변을 넘어 브라우저 자체를 조작해 정보를 모으는 웹 브라우저 에이전트다.
• 오픈소스 브라우저 유즈는 자연어 명령만으로 같은 일을 하게 해주는 파이썬 라이브러리다.
• 선택자 기반 크롤링 코드는 페이지 구조가 조금만 바뀌어도 깨지지만, 브라우저 에이전트는 화면 구조를 파악해 사람처럼 조작한다.
• 소비자용 GPU의 로컬 모델로는 화면을 보고 클릭 가능한 요소를 식별하는 능력이 부족해, 웹 자동화에 특화된 모델을 API로 쓰는 편이 현실적이었다.
• 브라우저 유즈에 프런트엔드를 붙여 코멧과 비슷한 웹 서비스를 만드는 데 한 시간이 채 걸리지 않았다.

쉽게 이해하기

퍼플렉시티는 검색어를 넣으면 웹페이지에 근거한 답을 돌려주는 서비스로 유명해졌다. 여기서 한 발 더 나간 것이 코멧으로, 브라우저 작업을 직접 자동화해 여러 단계를 거쳐야 하는 복잡한 정보 수집을 대신한다. 영상에서는 해커뉴스에 접속해 AI 관련 상위 세 개 글을 열고 본문과 댓글을 정리해달라고 시켰더니, 브라우저를 열고 탭을 옮겨가며 내용을 추출하는 과정을 전부 스스로 수행하는 모습을 보여준다.

같은 성격의 제품으로 오픈AI가 내놓은 아틀라스 브라우저도 소개된다. 사이드 패널에 명령이나 질문을 넣으면 웹페이지를 직접 조작하고 그 결과를 바탕으로 더 깊은 상호작용을 이어가는 구조다. 발표자는 코드로 짠 자동화나 크롤링보다 사람처럼 브라우저를 제어하는 에이전트가 앞으로 더 큰 흐름이 될 것이라고 봤다.

이런 동작을 직접 구현해볼 수 있는 오픈소스가 브라우저 유즈다. 스스로를 'AI 브라우저 에이전트'로 소개하며, 시드 단계에서 1,700만 달러를 투자받고 깃허브 스타 7만 2,000개를 넘긴 프로젝트다. 기존 크롤링은 HTML 태그를 몇 단계 타고 들어가 원하는 텍스트를 긁어오는 방식이라 복잡하고 깨지기 쉽다. 지금은 잘 돌아가도 사이트가 개편되면 한두 달 뒤에는 동작하지 않는 일이 흔하다. 반면 브라우저 에이전트에는 '이 저장소의 스타 수를 찾아달라'처럼 자연어로 시키면 된다.

작동 원리는 문서 객체 구조로 현재 페이지의 형태와 상호작용 가능한 지점을 파악한 뒤, 클릭·스크롤·추출 같은 동작을 골라 실행하고 그 결과를 다시 보고 다음 행동을 정하는 반복 구조다. 검색·이동·대기·클릭·파일 업로드·탭 전환·스크린샷 같은 기본 도구가 갖춰져 있고, 중간에 사람의 확인이 필요할 때 질문을 던지는 도구를 직접 만들어 끼울 수도 있다. 로그인 입력이나 간단한 캡차 우회 같은 크롤링의 오랜 난제도 다룰 수 있다고 소개된다.

발표자는 여기에 구글의 코딩 환경 안티그래비티와 제미나이 3 프로를 써서 코멧과 비슷한 웹 인터페이스를 붙였다. 백엔드는 브라우저 유즈를 API로 감싸고 프런트엔드는 리액트로 만드는 계획을 AI가 제안했고, 모델이 잘 모르는 라이브러리 사용법은 공식 문서를 통째로 마크다운으로 정리해 넘겨 해결했다. 완성까지 한 시간이 채 걸리지 않았고, 명령을 입력하면 크롬이 열리며 사고 과정과 행동이 화면에 그대로 표시되는 결과물이 나왔다.

주요 인사이트

• 브라우저 에이전트의 핵심 가치는 '자동화가 깨지지 않는 것'이다. 선택자를 고정한 크롤링 코드는 웹사이트 개편마다 무너지지만, 화면을 보고 판단하는 방식은 구조 변화에 상대적으로 강하다.
• 가장 잘 맞는 용도로는 사이트마다 구조가 달라 일반화된 코드를 짤 수 없는 양식 작성, 장보기 같은 반복 구매, 개인 비서 성격의 조사 작업이 꼽혔다.
• 다만 '커스텀 PC 부품을 찾아줘' 같은 요청은 사용자가 원하는 사양을 모른 채 시작하기 때문에 오류가 나기 쉽다. 되묻고 정보를 받아내는 흐름은 프롬프트만으로는 안 되고 시스템으로 구현해야 한다는 점이 지적됐다.
• 로컬 실행은 아직 현실적이지 않았다. 스크린샷을 보고 구조를 파악해 클릭 가능한 요소를 식별하려면 상당한 시각 이해 능력이 필요한데, 소비자용 GPU에서 돌릴 만한 양자화 모델로는 부족했다는 실험 결과가 공유됐다.
• 실제 시연에서 에이전트는 상위 글을 찾아 읽는 단계까지는 정상 수행했지만 댓글 요약 단계에서 실패했다. 또 AI 관련 기사를 고르라는 지시에 사이트 주소에 ai가 들어간 글을 골라오기도 했다. 아직은 결과를 사람이 확인해야 하는 단계라는 뜻이다.

자주 묻는 질문

관련 AI 소식