Agents' Last Exam 벤치마크: 실제 전문 직무 55개 분야로 AI 에이전트 자동화 역량 측정

핵심 메시지

• Agents' Last Exam(ALE)은 실제 전문가가 하는 경제적 가치가 있는 워크플로로 AI 에이전트를 평가하는 벤치마크다.
• 300명 넘는 전문가가 참여해 55개 분야에 걸쳐 약 1,500개의 실제(합성이 아닌) 과제를 모았다.
• 기존 에이전트 벤치마크는 코딩·수학에 몰려 미국 직업의 약 7%만 다루는 반면, ALE는 훨씬 넓은 실무 영역을 포괄한다.
• 결과는 가능한 한 결정론적 코드 검증기로 확인하며, GUI와 CLI를 함께 쓰는 '범용 컴퓨터 사용 에이전트'를 상정한다.
• 가장 어려운 등급에서는 최고 에이전트조차 통과율이 매우 낮아, 복잡한 실무의 신뢰성 있는 자동화는 아직 멀었음을 보여준다.

쉽게 이해하기

이 영상은 Snorkel AI 리딩 그룹에서 UC 버클리 책임·분산 지능 센터의 Yiyou Sun과 David Han이 'Agents' Last Exam(ALE)' 논문을 소개하는 자리다. 발표자는 이 벤치마크가 실제 전문가가 수행하는 장기 과제를 검증 가능한 결과로 측정하는 첫 시도라며, 오히려 '에이전트의 첫 시험'에 가깝다고 농담한다. 핵심 질문은 '에이전트가 현실의 경제적 가치가 있는 일을 실제로 해낼 수 있는가'이다.

발표는 벤치마크가 방향을 정한다는 점을 강조한다. 수학·코딩·추론에서 벤치마크가 발전을 이끈 것처럼, 이제는 에이전트가 실제로 해주길 바라는 '일'을 측정할 벤치마크가 필요하다는 것이다. 문제는 커버리지 불일치다. 기존 에이전트 벤치마크는 컴퓨터·수학 영역에 집중되어 미국 노동시장의 약 7%만을 대표하며, 관리·금융·법률·공학 등 소프트웨어로 매개되는 방대한 직무가 거의 탐구되지 않았다.

ALE는 2018년 미국 표준직업분류(867개 직업)를 지도 삼아 컴퓨터 중심 워크플로를 추려내고, AI 관련 최신 분야를 더해 총 55개 분야를 정의했다. 대표 사례로 중국의 실제 제조 워크플로가 등장한다. 아이폰 케이스를 만들 때 구조 엔지니어가 2D 설계를 3D로 바꾸고, 사출 온도를 시뮬레이션하는 몰드 플로를 돌린 뒤, 충돌 없는 절삭 경로(G-code)를 짜는 과정이다. 이런 최고 난도 과제에서는 아직 어떤 에이전트도 10%를 넘기지 못하고 통과율이 0에 머문다.

ALE가 기존과 다른 점은 규모와 검증 방식이다. 300명 이상의 전문가가 일상 과제를 직접 제공했고, 과제는 대표성(실제로 쓰는 도구·방식), 복잡성(클릭 몇 번이 아닌 엔드투엔드), 검증 가능성 세 기준을 만족해야 한다. 발표자는 주관적이고 신뢰도가 낮은 LLM 심판보다 결정론적 코드 검증기를 선호한다고 밝힌다. 또한 GUI만 쓰는 에이전트가 아니라 CLI까지 아우르는 '범용 컴퓨터 사용 에이전트'를 상정하며, 목표만 달성하면 방법은 가리지 않는다.

벤치마크는 오염을 막기 위해 6개월마다 과제 묶음을 바꾸는 '살아 있는' 형태이며, 제출은 논문 심사처럼 리뷰를 거친다. 결과 부분에서는 가장 어려운 등급의 통과율이 매우 낮고(최고 에이전트도 최난도에서 약 2%), 발표 시점 기준 GPT-5.5(고효율)와 Claude Code 계열이 앞서는 것으로 제시된다. 다만 Fable 5는 안전상 과제를 거부하거나 조건이 특이해 점수를 액면 그대로 보긴 어렵다고 언급된다. 또한 모델을 바꾸면 성능이 크게 달라지지만, 하네스(실행 틀)는 성능보다 비용에 큰 영향을 준다는 관찰과, Claude Code Max가 성능은 좋지만 100개 과제에 약 4천 달러가 들 만큼 비싸다는 점도 공유된다.

주요 인사이트

• 좋은 벤치마크는 단순한 점수가 아니라 '지금 에이전트에게 무엇이 부족한지'를 보여주는 지도 역할을 한다.
• 코딩·수학 중심의 기존 평가는 노동시장의 극히 일부만 대표하므로, 실무 자동화 역량을 알려면 훨씬 넓은 커버리지가 필요하다.
• 실제 워크플로는 GUI와 CLI를 함께 요구하는 경우가 많아, 둘을 아우르는 범용 에이전트 개념이 중요해지고 있다.
• 검증 가능성을 위해 결정론적 코드 검증기를 쓰면, 주관적 심판보다 신뢰도 높은 비교와 RL 학습으로의 확장이 가능하다.
• 성능만이 아니라 비용도 중요하다. 같은 성능이라도 하네스를 잘 설계하면 비용을 크게 낮출 수 있다.

자주 묻는 질문

관련 AI 소식