웹아레나 OS월드 벤치마크 정리: 컴퓨터 사용 에이전트의 성능이 사람에 못 미치는 이유

핵심 메시지

• 컴퓨터 사용 에이전트는 도구를 호출하는 단계를 넘어 사람처럼 화면을 보고 클릭하고 입력하는 방식으로 작업을 수행하며, 웹 에이전트는 그중 브라우저 영역을 다루는 부분집합이다.
• 두 벤치마크는 행동 순서를 정답과 비교하는 대신 최종 상태가 목표를 달성했는지 확인해, 같은 목표에 이르는 다른 경로도 정답으로 인정한다.
• 웹아레나는 실제 사이트를 본떠 로컬에 구축한 네 종류의 웹 애플리케이션에서 241개 템플릿으로 812개 과제를 만들었고, 최고 성적인 GPT-4가 14.41%, 사람이 78.24%를 기록했다.
• OS월드는 우분투 가상 머신에서 369개 과제를 평가했고 GPT-4가 12.24%, 사람이 72.36%였다. 여러 앱을 오가는 워크플로 과제에서는 대부분 모델이 5%를 넘기지 못했다.
• 실패 원인의 상당 부분은 추론이 아니라 조작이었다. OS월드 실패 사례의 75%가 마우스 클릭 좌표를 정확히 짚지 못한 데서 비롯됐다.

쉽게 이해하기

서울대학교 산업공학과 DSBA 연구실의 에이전트 스터디 13주차 발표는 우리가 가장 자주 쓰는 영역인 웹과 데스크톱 에이전트를 다뤘다. 발표자는 박사과정 박재익 연구원으로, ICLR 2024에 발표된 웹아레나와 NeurIPS 2024에 발표된 OS월드 두 논문을 벤치마크 관점에서 정리했다. 에이전트를 목표를 이해하고 도구를 사용해 환경과 상호작용하며 작업을 끝내는 시스템으로 정의한 뒤, 어떤 도구를 쓰고 어떤 환경에 놓이는지에 따라 종류가 갈린다는 설명에서 출발한다. 언어 모델에 검색이나 계산기, API 호출 같은 외부 도구를 붙인 것이 툴 유즈 에이전트라면, 여기서 한 걸음 더 나아가 사람이 컴퓨터를 쓰는 방식 자체를 흉내 내는 것이 컴퓨터 사용 에이전트다. 동작은 목표를 받고, 화면을 관찰하고, 추론과 계획을 거쳐 클릭이나 입력 같은 행동을 하고, 그 결과를 피드백으로 받아 다시 관찰하는 순환으로 이뤄진다. 웹 에이전트가 URL·HTML·접근성 트리를 관찰하고 클릭·입력·탭 전환을 수행한다면, OS 에이전트는 운영체제 전체와 여러 앱·파일 시스템까지 범위를 넓혀 드래그와 단축키, 터미널 명령까지 쓴다. 웹 에이전트는 OS 에이전트의 부분집합인 셈이다.

발표는 이 영역의 난제를 네 가지로 정리한다. 여러 앱과 여러 단계를 거치며 오류가 누적되는 장기 계획 문제, 화면 위 요소를 정확히 짚어내는 GUI 그라운딩, 오류 상황을 인식하지 못해 같은 행동을 반복하는 에러 복구, 그리고 새로운 운영체제나 사이트로 옮겨 가면 성능이 급락하는 일반화다. 기존 벤치마크가 정답 행동 순서와의 일치를 따지느라 같은 목표에 이르는 다른 경로를 오답으로 처리했던 문제도 지적된다. 두 벤치마크는 대신 최종 결과 상태를 검증하는 방식을 택했다.

웹아레나는 아마존을 본뜬 이커머스, 레딧과 스택 익스체인지를 본뜬 소셜 포럼, 깃랩 기반의 개발 협업 사이트, 마젠토 관리자 포털 기반의 콘텐츠 관리 시스템까지 네 종류를 로컬에 구현한 동적 환경이다. 여기에 지도·계산기·메모장 같은 도구와 위키피디아·사용자 매뉴얼 같은 참고 자료를 붙였고, 벤치마크로는 처음으로 여러 탭을 동시에 여는 상황을 지원한다고 밝혔다. 과제는 어노테이터가 직접 사이트를 둘러보며 만든 241개 템플릿에서 812개가 생성됐으며, 정보 탐색·사이트 내비게이션·상태 변경 세 갈래로 나뉜다. 애초에 달성 불가능한 과제도 섞여 있어 에이전트가 이를 알아채고 수행 불가로 응답해야 한다. 결과는 GPT-4의 14.41%가 최고였고, 같은 과제를 수행한 사람은 78.24%를 기록했다.

OS월드는 범위를 데스크톱 전체로 넓힌다. 리브레오피스, 김프, VS 코드 등이 설치된 우분투 가상 머신 스냅샷을 제공하고, 설정 파일로 각 과제의 초기 상태를 만든 뒤 스크린샷과 접근성 트리를 관찰로 준다. 유튜브나 위키하우, 레딧 등에서 수집해 만든 369개 과제에는 이미 사라진 기능을 요구하는 실행 불가 과제 30개가 포함된다. 평가는 실행 기반으로, 결과물을 수집한 뒤 과제마다 다른 검증 함수를 돌려 완전 성공에 1점, 부분 달성에 0과 1 사이 값을 준다. 여기서도 GPT-4가 12.24%로 가장 높았고 사람은 72.36%였으며, 특히 스프레드시트 조작이 많은 오피스 범주와 여러 앱을 동시에 다루는 워크플로 범주가 취약했다.

추가 분석은 실패의 성격을 더 구체적으로 보여 준다. OS월드에서는 스크린샷 해상도를 높이면 성능이 좋아졌고 텍스트 기반 이력을 넣는 것도 도움이 됐지만, 스크린샷 이미지를 더 넣는 것은 효율 문제를 일으켰다. 실패 사례의 75%는 계획은 맞았는데 클릭 좌표를 정확히 짚지 못한 경우였다. 웹아레나에서는 불가능한 과제가 있다는 힌트를 주자 오히려 가능한 과제의 54.9%를 불가능하다고 오판했고, 힌트를 빼면 성공률이 2.7%포인트가량 올랐으며 힌트 없이도 44.44%의 불가능 과제를 스스로 알아봤다. 발표는 GUI 그라운딩의 근본적 개선, 메모리와 반성·탐색 기반 계획을 통합한 아키텍처, 과제와 평가 지표를 자동으로 확장하는 벤치마크를 향후 과제로 제시하며 마무리한다.

주요 인사이트

• 두 논문이 공유하는 방법론적 전환은 평가 기준을 행동 순서에서 결과 상태로 옮긴 것이다. 사람이 그렇듯 목표에 이르는 길은 여럿이므로, 경로 일치를 요구하는 평가는 멀쩡한 성공을 오답으로 처리해 왔다.
• 사람 성적을 함께 측정한 점이 중요하다. 14.41% 대 78.24%, 12.24% 대 72.36%라는 대비가 있어야 현재 에이전트의 위치를 절대적인 숫자가 아니라 사람과의 거리로 읽을 수 있다.
• 병목이 추론보다 조작에 있다는 분석은 개선 방향을 바꾼다. 실패의 75%가 클릭 좌표 문제였다면, 더 큰 모델보다 화면 요소를 정확히 짚는 그라운딩 능력이 먼저 필요하다.
• 불가능한 과제를 섞어 둔 설계는 에이전트의 자기 인식을 시험한다. 힌트를 주면 가능한 일도 포기해 버리는 편향은, 안전장치라고 넣은 안내가 오히려 성능을 떨어뜨릴 수 있음을 보여 준다.
• 여러 앱을 오가는 워크플로 과제에서 대부분 모델이 5%를 넘기지 못했다는 점은, 실제 업무 자동화를 기대하는 쪽에서 특히 눈여겨볼 대목이다.

자주 묻는 질문

관련 AI 소식