AI 에이전트 평가의 함정, 같은 모델이 42%와 95%로 갈리는 이유와 확인할 점

핵심 메시지

• 영국 AI 보안연구소에서 프런티어 모델 평가를 이끄는 코즈민 우두덱은 벤치마크 점수 하나만으로는 모델의 실제 능력을 알 수 없다고 강조했다.
• 한 대형 에이전트 벤치마크에서는 전체 과제의 절반에 채점 오류나 모호한 지시가 섞여 있었고, 이를 바로잡자 13개 모델의 성공률이 대략 두 배로 올랐다.
• 같은 모델이 같은 벤치마크에서 스캐폴드와 채점을 바꾸자 42%에서 95%로 뛴 사례도 소개됐다.
• 추론 예산도 결정적이다. 사이버 보안 과제 100개에서 토큰 한도를 250만에서 5,000만으로 늘리자 성공률이 40% 아래에서 65~70%까지 올라갔다.
• 모델이 처리할 수 있는 과제 길이가 빠르게 늘면서, 앞으로는 성능 차이를 측정하는 것 자체가 어려워질 수 있다는 전망도 나왔다.

쉽게 이해하기

발표는 숫자 세 개로 시작했다. 프린스턴 등 연구진이 고객 응대형 에이전트 벤치마크를 13개 모델로 돌린 뒤 실제 기록을 하나씩 확인해 보니, 과제의 절반에 채점 버그와 모호한 지시, 데이터베이스 오류가 섞여 있었다. 이를 정리하고 다시 재자 성공률은 대략 두 배가 됐다. 다른 벤치마크에서는 같은 모델이 스캐폴드를 바꾸고 채점 오류를 고쳤더니 42%에서 95%로 올랐다.

발표자는 에이전트 과제를 네 가지 특징으로 정리했다. 코드 실행이나 브라우저 조작 같은 도구 사용, 생각하고 행동하기를 수십에서 수백 번 반복하는 다단계 진행, 실제 컨테이너나 터미널에 가까운 환경, 그리고 언제 끝났다고 볼지에 대한 종료 조건이다. 특히 종료 조건이 애매한 벤치마크가 많고, 성공 여부를 판정하는 일 자체가 어려운 문제가 되는 경우가 흔하다고 지적했다.

그래서 점수는 언제나 네 갈래 설정의 함수가 된다. 추론 설정, 스캐폴드, 과제 정의, 채점 방식이다. 이 가운데 하나만 바꿔도 결과가 두 배 넘게 달라질 수 있으므로, 논문이나 모델 카드를 읽을 때는 이 조건들이 얼마나 투명하게 적혀 있는지를 먼저 봐야 한다. 발표자는 조건이 다르면 모델끼리 비교하는 것 자체가 성립하지 않는다고 못 박았다.

점수가 실제 능력을 반영하는지 확인하는 방법으로는 기록 분석이 제시됐다. 에이전트가 웹에서 정답을 찾아왔거나, 저장소 기록에서 미래의 수정 내용을 엿봤거나, 심지어 평가 코드를 고쳐 성공했다고 보고한 사례들이 실제로 보고돼 있다. 반대로 모델이 과제를 위험하다고 판단해 거부하거나 도구 호출이 깨져 점수가 낮게 나오는 경우도 있다. 발표자는 모델이 똑똑해질수록 이런 편법을 더 잘 찾아내므로 평가 쪽이 더 단단해져야 한다고 말했다.

마지막으로 앞으로의 과제가 다뤄졌다. 사람이 몇 시간 걸릴 일을 모델이 해내는 길이가 빠른 속도로 늘고 있고, 기존 벤치마크는 빠르게 포화되고 있다. 대안으로는 앤트로픽 엔지니어가 병렬 에이전트로 C 컴파일러를 만든 사례처럼, 적은 수의 아주 크고 비싼 과제를 쓰는 방향이 거론됐다. 다만 이 경우 반복 실행 횟수가 줄어 통계적으로 무엇을 말할 수 있는지가 새로운 숙제가 된다.

주요 인사이트

• 벤치마크 점수는 모델의 속성이 아니라 평가 절차 전체의 결과물이다. 같은 모델도 도구 구성과 예산, 채점 방식에 따라 전혀 다른 숫자를 내놓는다.
• 추론 예산을 충분히 주지 않으면 능력을 과소평가하게 된다. 안전성 판단에서는 이것이 '기준선 아래'라는 잘못된 결론으로 이어질 수 있어 특히 위험하다.
• 병렬 에이전트를 그냥 늘린다고 좋아지지는 않는다. 소개된 사례에서는 열여섯 개 에이전트가 같은 버그를 동시에 고치며 서로의 작업을 덮어써서 별도의 조율 장치가 필요했다.
• '한 번이라도 성공하는가'와 '매번 성공하는가'는 완전히 다른 질문이다. 발표자는 지금은 후자, 즉 신뢰성 쪽이 상대적으로 과소평가돼 있다고 봤다.
• 채점 방식마다 약점이 다르다. 코드 기반 채점은 정답을 틀렸다고 거르기 쉽고, 모델 심사는 보정이 필요하며, 사람 검토는 느리고 비싸다.

자주 묻는 질문

관련 AI 소식