컴퓨터 사용 에이전트 완전 정리: 웹 브라우저 자동화부터 컨테이너 데스크톱 제어까지

핵심 메시지

• 언어 모델의 행동 범위는 텍스트 생성에서 지시 따르기, 함수 호출 순으로 넓어져 왔다.
• 챗봇 창에 몇 개의 도구만 붙이는 방식은 모델이 실제로 할 수 있는 일에 비해 제약이 크다는 것이 이 영상의 문제의식이다.
• 사람처럼 추론하고 행동하는 시스템이라면 사람이 쓰는 도구, 즉 브라우저와 데스크톱을 그대로 주자는 발상이 핵심이다.
• 브라우저 자동화는 HTML과 DOM을 뽑아 맥락으로 넘기고, 데스크톱 에이전트는 스크린샷을 보며 다음 행동을 정한다.
• 상용 사례에서는 20분 남짓 자율적으로 움직이며 자료 조사부터 발표자료 생성까지 이어가는 모습도 확인된다.

쉽게 이해하기

발표자는 컨테이너 안의 가상 데스크톱에서 언어 모델이 직접 인사를 건네는 장면으로 영상을 연다. 앤트로픽이 컴퓨터 사용 모델을 공개한 2024년 10월에는 관련 환경이나 프레임워크가 거의 없었지만, 이제는 실제로 보여주고 설명할 만큼 생태계가 자랐다는 것이 출발점이다.

이야기는 언어 모델의 행동 범위가 넓어진 과정을 되짚는다. 초기 모델은 문장을 이어 쓰는 일만 했고, 지시 조정을 거치며 사용자의 요구를 받아 처리하는 형태로 표준화됐다. 함수 호출이 등장하면서 모델은 자기 안의 텍스트 세계를 벗어나 외부 환경에 영향을 주기 시작했다.

발표자는 여기에 두 가지 연구 흐름을 겹쳐 놓는다. 사전학습 규모가 커지면 훈련하지 않은 능력이 나타난다는 창발 현상, 그리고 추론과 행동, 관찰을 반복하는 ReAct 같은 인간 모방형 프레임워크다. 사람의 문제 해결 방식을 흉내 낼수록 성능이 좋아졌다면, 도구와 형태도 사람과 같게 주는 편이 낫지 않느냐는 논리로 이어진다.

첫 번째 구현 사례는 브라우저 자동화 오픈소스다. 최신 블로그 글을 요약해 달라는 열린 지시 하나로 모델이 검색하고, 사이트에 들어가고, 버튼을 눌러가며 답을 만들어낸다. 이때 모델이 화면을 이해하는 근거는 추출된 HTML과 DOM이며, 이전 단계의 화면 구조가 맥락으로 함께 쌓여 자신의 행동이 목표에 가까워졌는지 되짚게 한다.

두 번째 사례는 격리된 우분투 데스크톱을 통째로 제공하는 오픈소스다. 셸 명령과 파일 조작, 창 관리, 클릭과 드래그, 스크롤까지 도구로 열어두자 모델은 사무용 프로그램을 실행하고 안내 창을 닫은 뒤 보고서를 작성한다. 여기서는 HTML 추출 없이 매 단계 스크린샷을 넘기며 시각 언어 모델이 다음 행동을 정한다는 점이 앞선 방식과 결정적으로 다르다.

주요 인사이트

• 발표자는 휴머노이드 로봇 논리를 그대로 가져온다. 세상이 이미 사람 몸에 맞춰 설계돼 있으니 사람 형태가 유리하듯, 디지털 환경도 사람이 쓰도록 만들어졌으니 모델에게 사람의 도구를 주자는 주장이다.
• 브라우저에서 사람이 하는 일은 사실 스크롤, 클릭, 입력 정도로 단순하다. 행동 자체는 몇 가지뿐이지만 그 조합으로 할 수 있는 일은 기하급수적으로 늘어난다는 점이 챗봇형 도구 목록과의 차이다.
• DOM 추출 방식과 스크린샷 방식은 감각 기관이 다르다. 전자는 구조화된 텍스트를, 후자는 화면 이미지를 근거로 삼으며 후자가 사람의 조작 방식에 더 가깝다.
• 상용 에이전트 사례에서는 자료 조사와 이미지 생성, 발표자료 작성이 하나의 흐름으로 이어졌고 완성까지 약 20분이 걸렸다. 짧은 응답이 아니라 긴 호흡의 작업을 맡기는 방향을 보여준다.
• 발표자는 이 방식이 사람이 직접 하던 수작업을 얼마나 대신할 수 있을지가 앞으로 지켜볼 지점이라고 마무리한다.

자주 묻는 질문

관련 AI 소식