AI 에이전트 평가 3대 벤치마크: METR 시간지평·GDPval 승률·딥스칼라벤치 한계

핵심 메시지

• 모델이 50% 확률로 끝낼 수 있는 과제의 길이는 약 7개월마다 두 배씩 늘어, 2019년 2초에서 2025년 59분까지 왔다.
• 같은 모델도 성공률 기준을 80%로 올리면 처리 가능한 과제 길이가 15분 수준으로 급감해, 신뢰도에는 아직 큰 여백이 남아 있다.
• 실제 직업 과제로 전문가와 겨루는 GDPval에서는 승률이 지수적이 아니라 완만한 직선으로 올라, 시간 지평 그래프와는 다른 그림을 보여준다.
• 논문 관련연구 절을 쓰게 하는 딥스칼라벤치에서는 어떤 시스템도 19%를 넘지 못해, 지식 기반을 참조하는 과제가 여전히 난제임이 드러났다.
• 강의는 남은 병목을 '맥락'으로 지목한다. 무엇을 할지 정하고 맥락을 떠먹여 주는 일은 여전히 사람 몫이라는 것이다.

쉽게 이해하기

스탠퍼드 온라인이 공개한 CS329A '자기개선형 AI 에이전트' 8강은 에이전트 평가와 장기 과제를 다룬다. 강의자는 챗봇 시절의 단발성 질의응답 벤치마크가 빠르게 포화하고 있다고 지적하며, 이제는 모델이 얼마나 긴 일을 해내는지, 그 일이 경제적으로 얼마나 가치 있는지를 함께 재야 한다고 말한다. 이를 위해 METR의 시간 지평 연구, 오픈AI의 GDPval, 스탠퍼드의 딥스칼라벤치 세 가지를 차례로 뜯어본다.

METR은 사람 전문가가 그 일을 끝내는 데 걸리는 시간을 공통 잣대로 삼는다. 파일 하나 여는 1~30초짜리 원자적 작업부터, 1분에서 30시간에 이르는 다양한 소프트웨어·연구 과제, 최대 8시간짜리 머신러닝 연구 과제까지 약 170개 과제를 모아 성공률과 소요 시간의 곡선을 맞춘다. 사람 기준선은 해당 분야 경력 5년 안팎의 숙련자가 실제로 성공한 시도의 시간을 기하평균으로 묶어 만든다.

결과 그래프에서 50% 성공률 기준 처리 가능한 과제 길이는 2019년 GPT-2의 2초, 2023년 GPT-4의 8분을 거쳐 2025년 클로드 3.7 소네트의 59분까지 늘었고, 대략 7개월마다 두 배가 되는 추세를 보인다. 그러나 같은 모델도 80% 성공률을 요구하면 15분 수준으로 내려앉는다. 강의자는 이 격차를 '인턴에게 일을 맡겼는데 절반만 제대로 돌아오는 상황'에 빗대며, 실제 배포에서는 신뢰도가 훨씬 중요한 제약이 된다고 강조한다.

GDPval은 질문을 바꾼다. 얼마나 오래 걸리느냐가 아니라, 그 결과물을 10년 이상 경력의 현업 전문가 결과물과 나란히 놓았을 때 이기느냐를 본다. 부동산·정부·의료·금융·소매·영상편집 등 9개 산업, 44개 직업의 실제 업무를 모았고, 승률은 2024년 GPT-4o의 12.4%에서 클로드 오퍼스 4.1의 47.6%까지 올라왔다. 다만 이 상승은 완만한 직선에 가까워, METR의 지수 곡선을 그대로 미래에 투사하는 해석에 제동을 건다.

마지막 딥스칼라벤치는 논문의 관련연구 절을 대신 써 주는, 연구자라면 누구나 탐낼 만한 과제를 벤치마크로 만들었다. 지식 종합, 검색 품질, 검증 가능성 세 축으로 채점하는데 현존 시스템의 점수는 19%를 넘지 못한다. 글은 매끄럽게 쓰지만 핵심 사실을 빠뜨리고, 그 분야의 토대가 된 논문을 찾아내지 못하며, 인용이 주장을 실제로 뒷받침하는지도 들쭉날쭉하다는 것이다.

주요 인사이트

• 과제 길이와 신뢰도는 별개의 축이다. '한 시간짜리 일을 한다'는 말과 '한 시간짜리 일을 믿고 맡길 수 있다'는 말 사이에는 아직 네 배 가까운 간극이 있다.
• 벤치마크마다 다른 그림이 나오는 이유는 재는 대상이 다르기 때문이다. 지수 성장 곡선 하나만 보고 '내년이면 며칠짜리 일도 한다'고 외삽하는 것은 위험하다.
• 모델은 그 저장소를 처음 보는 외부 계약직에 가깝게 움직인다. 강의는 코드베이스 관리자가 외부 계약자보다 5~18배 빠르다는 관찰을 들어, 성능 차이의 상당 부분이 맥락에서 온다고 설명한다.
• 실패는 대체로 비슷한 자리에서 난다. 계획을 잘게 쪼개지 못하거나, 도구를 잘못 고르거나, 참조 자료를 보겠다고 해놓고 보지 않거나, 같은 행동을 반복하는 고리에 빠지는 식이다.
• 모델마다 잘하는 결이 다르다. 문서 서식과 PDF·스프레드시트·발표자료처럼 형태가 있는 산출물은 클로드 계열이, 지시 준수와 계산 정확도는 GPT-5가 낫다는 관찰이 소개됐다.

자주 묻는 질문

관련 AI 소식