컴퓨터 사용 AI 에이전트 벤치마크의 허점: 리플레이 스크립트와 pass@k가 드러낸 평가 함정

핵심 메시지

• 최신 모델의 성공 경로를 한 번씩 녹화해 그대로 재생하기만 하는 1MB 미만 스크립트가, 원본 모델과 같거나 더 높은 성공률을 기록했다.
• 이런 일이 가능한 이유는 대부분의 컴퓨터 사용 벤치마크가 매번 똑같은 상태에서 시작하는 결정론적 환경이기 때문이다.
• 발표자는 결정론적 환경에서 pass@k 지표가 사실상 이 재생 스크립트의 성공률과 같다는 것을 논문에서 형식적으로 증명했다고 밝혔다.
• 해법은 환경과 지표 양쪽에 있다. 환경은 검증된 다인자 변형을 갖추고, 지표는 불확실성을 정직하게 계산해야 한다.
• 기본 설정 한 가지만 반복 실행해 만든 95% 신뢰구간은 실제로 20% 안팎만 참값을 담았고, 이 과신은 모델 선택 실수로 이어진다.

쉽게 이해하기

발표자는 먼저 자신이 '재생 에이전트'라고 부르는 이상한 에이전트를 소개한다. 좋은 프런티어 모델을 벤치마크에 돌려 과제마다 성공한 궤적을 하나씩 수집하고, 탭·입력·스크롤 같은 동작 순서를 그대로 기록해 둔다. 이제 같은 과제가 들어오면 화면을 전혀 보지 않고 녹화된 동작을 그대로 재생한다. 수백 개 과제를 담아도 1메가바이트가 채 되지 않는 이 스크립트를 OSWorld 같은 표준 벤치마크에서 평가하면, 원본이 된 모델과 성공률이 같거나 오히려 더 높게 나온다.

원인은 벤치마크의 결정론성이다. 환경이 매번 같은 상태에서 같은 방식으로 흘러가면 동작 순서를 외워 두는 전략이 통한다. 더 나아가 발표자는 컴퓨터 사용 에이전트 평가에 널리 쓰이는 pass@k, 즉 k번 시도 중 최소 한 번 성공할 확률이라는 지표가 결정론적 환경에서는 문자 그대로 이 재생 스크립트의 성공률과 같다는 사실을 논문에서 형식적으로 증명했다고 말한다. 재생 에이전트가 이상하게 느껴진다면 pass@k도 똑같이 이상하게 느껴져야 한다는 것이다.

그래서 그는 문제를 환경과 지표 두 갈래로 나눈다. 환경 설계 원칙으로 제시한 것이 PRISM인데, 특권 정보를 쓰는 검증기와 실제 시스템을 충실히 재현하는 현실성, 생성한 조합이 유효한지 확인하는 무결성 검사, 격리된 샌드박스 실행, 그리고 데이터·테마·시작 화면 같은 축을 바꾸는 다인자 변형을 뜻한다. 이 원칙을 구현한 것이 DIGIWORLD로, 안드로이드 앱 15개와 검증된 시나리오 387개 위에 여러 축을 조합해 320만 개의 검증된 설정을 만들었다. 핵심은 개수가 아니라 검증이어서, 파라미터화된 과제 템플릿과 검증기, 목 데이터를 받아 모든 조합을 만들고 깨진 것은 걸러 내는 컴파일러 같은 시스템을 붙였다.

이렇게 만든 벤치마크에서 같은 실험을 반복하면 재생 에이전트의 성적은 거의 나오지 않는다. 덤으로 얻은 것도 있다. 변형 축별로 프런티어 모델의 견고함을 측정할 수 있게 된 것인데, 같은 과제라도 시작 화면이 바뀌거나 앱 테마가 달라지면 성능이 유지될 법한데 실제로는 그렇지 않았고 최악의 경우 모델들은 상당히 취약했다.

두 번째 축은 불확실성을 정직하게 재는 일이다. 변동성의 원천은 모델이 매번 다른 동작을 고르는 데서 오는 것과 환경 자체가 매번 달라지는 데서 오는 것 두 가지인데, 둘 다 현실에서 마주칠 변동이다. 발표자는 벤치마크의 계층 구조를 반영해 두 변동을 함께 잡는 방법론을 만들었다고 말한다. 기본 설정 하나만 반복 실행해 만든 95% 신뢰구간은 실제로 참값을 20% 안팎만 담았지만, 계층을 고려해 제대로 계산하면 90~95% 수준까지 올라간다.

주요 인사이트

• 벤치마크 점수가 높다는 사실만으로는 지능을 증명하지 못한다. 환경이 결정론적이면 아무것도 이해하지 못하는 재생 스크립트도 최상위 점수를 받을 수 있기 때문이다.
• 지표는 환경과 분리해서 볼 수 없다. pass@k는 그 자체로 나쁜 지표가 아니라, 결정론적 환경과 만났을 때 악용 전략을 그대로 수치화하는 지표가 된다.
• 환경을 다양하게 만드는 일과 유효하게 만드는 일은 별개다. 조합을 자동 생성한 뒤 깨진 것을 걸러내는 검증 전략이 있어야 규모를 키울 수 있다.
• 변형 축을 갖춘 환경은 평가뿐 아니라 진단 도구가 된다. 시작 화면이나 테마만 바꿔도 성능이 흔들린다는 사실은 그 환경이 없으면 아예 관측되지 않는다.
• 좁아 보이는 신뢰구간은 안심이 아니라 경고일 수 있다. 발표자는 모델 간 실제 성능 차이가 4%인데 구간이 과신되어 잘못 고르면, 과제 100만 건 규모에서 월 수십만 달러 손실로 이어질 수 있다고 계산해 보였다.

자주 묻는 질문

관련 AI 소식