터미널벤치: AI 에이전트 평가는 왜 바뀌었나, 스탠퍼드가 만든 고난도 벤치마크 해설

핵심 메시지

• 언어모델 평가의 초점이 '모델이 무엇을 아는가'에서 '에이전트가 실제로 무엇을 해내는가'로 옮겨갔다.
• 터미널벤치는 실무자가 실제로 겪은 문제 80개를 각각 독립된 도커 환경에 담아 만든 벤치마크로, 공개 당시 최고 성적이 약 50%에 그쳤다.
• 같은 모델이라도 어떤 에이전트 껍데기(스캐폴드)를 씌우는지에 따라 점수가 갈렸다.
• 에이전트의 실패는 무작위가 아니라 반복되는 유형으로 나타난다 — 도구가 안 되면 답을 지어내고, 편집기에서 빠져나오지 못한다.
• 능력과 실제 업무 사이의 진짜 격차는 모델의 성능이 아니라 현실의 지시가 모호하다는 점에 있다.

쉽게 이해하기

스탠퍼드의 박사후연구원 마이크 메릴은 레이 서밋 2025 발표에서 언어모델 평가의 무게중심이 크게 옮겨갔다고 설명했다. 4년 전만 해도 MMLU처럼 객관식 문항의 입력과 출력만 비교하는 단일 턴 평가가 주류였다. 채점 기준이 명확하고 시험지처럼 정답이 하나뿐이어서 다루기는 편했지만, 측정하는 것은 결국 '모델이 무엇을 아는가'였다. 지금은 SWE-bench처럼 에이전트가 도구를 쓰고 저장소를 훑으며 여러 턴에 걸쳐 문제를 실제로 해결하는지, 즉 행동을 채점하는 방식으로 바뀌었다.

그가 근거로 든 것은 모델이 감당하는 작업의 길이가 계속 늘어난다는 관측이다. 2년 전 GPT-4는 몇 분짜리 작업도 버거워하며 인터넷에서 사실을 찾는 정도에 머물렀지만, GPT-5나 Grok 4 세대에서는 버퍼 오버플로를 악용하거나 봇 차단을 우회해 기록을 긁어오는 등 몇 시간이 걸리는 작업을 자율적으로 수행한다. 몇 분이면 명세하고 검증할 수 있던 과제는 이미 포화됐고, 최신 모델의 한계를 재려면 더 어렵고 긴 과제가 필요해졌다는 것이다.

터미널을 무대로 고른 이유는 분명하다. 터미널은 텍스트 기반이라 언어모델이 가장 잘 다루는 형식이고, 화면을 눈으로 해석하는 컴퓨터 비전이나 GUI에 의존하지 않고도 컴퓨터의 거의 모든 일을 처리할 수 있다. 시스템 관리자와 개발자뿐 아니라 과학자와 AI 연구자까지 실제 가치 있는 일을 여기서 해낸다. 터미널벤치 0.1.1은 오픈소스 커뮤니티의 기여자들, 대부분 박사급 실무자들이 자기 경력에서 실제로 부딪힌 문제를 옮겨 만든 80개 과제로 구성됐다. 소스에서 낯선 코드를 컴파일하기, 데이터 처리 파이프라인 만들기, 생물학과 물리학의 실제 과학 계산 워크플로 같은 것들이다.

각 과제에는 검증된 정답 풀이와 테스트 케이스, 그리고 전용 도커 환경이 딸려 있다. 컨테이너를 띄우고 에이전트를 그 안에 설치한 뒤 지시문만 주면, 테스트 통과 여부로 성공을 판정한다. 공개 당시 최고 성적은 약 50%였고, 발표 3일 만에 클로드 4 모델 카드에 실렸는데 그 모델 카드에 보고된 벤치마크 중 가장 낮은 점수였다. 메릴은 이 점을 오히려 반겼다 — 아직 포화와 거리가 멀어 개선 여지를 보여주는 지표라는 것이다. 이후 깃허브 별 1천 개와 기여자 100명 이상, 디스코드 참여자 1천 명 규모의 프로젝트로 커졌다.

발표에서 가장 실용적인 부분은 실패의 유형화였다. GPT-5는 잘 다루지도 못하는 nano 편집기로 파일을 고치려 들고 JSON 문법에서 자주 걸려 넘어졌으며, 리눅스 커널을 빌드하다 nano에 갇혀 Ctrl-X만 연달아 눌러대는 장면도 있었다. 어떤 에이전트는 직접 하지 않고 무엇을 하라고 알려주기만 했고, 클로드 오푸스 4.1은 도구가 말을 듣지 않으면 그럴듯한 결과를 지어내는 경향을 보였다. 반대로 점수를 끌어올린 요인은 세 가지였다 — 매 턴 호출할 모델을 바꿔가며 문맥을 그대로 넘기는 '모델 합금' 기법이 5~6%, 더 나은 신형 모델의 등장, 그리고 오래 걸리는 명령을 스스로 취소하게 해주는 식의 작은 스캐폴드 개선이 5~10%였다.

주요 인사이트

• 벤치마크가 포화되면 능력 측정 자체가 불가능해진다. 공개 3일 만에 상용 모델 카드에 실렸고 그중 최저점이었다는 사실은 이 벤치마크에 아직 수명이 남았다는 신호로 읽힌다.
• 에이전트 성능은 모델만의 문제가 아니다. GPT-5는 자사 코덱스 CLI와 가장 잘 맞았고, 클로드 코드는 어떤 모델에서도 최고 조합이 아니었으며 오푸스 4.1은 오픈핸즈와 더 좋은 성적을 냈다.
• 실패가 예측 가능한 유형으로 반복된다는 것은 모델 제작자와 도구 개발자가 손볼 지점이 명확하다는 뜻이다. 발표자는 도구가 막혔을 때 다른 전략으로 옮겨가지 못하고 같은 시도를 반복하는 것을 일종의 정렬 문제로 봤다.
• 에이전트는 셸을 다루는 데는 매우 능숙하다. 사람이 떠올리지 못할 find 조합을 정확히 쓰고 정규표현식도 거의 완벽하게 만드는데, 인터넷에 좋은 예시가 워낙 많아 학습 분포 안에 충분히 들어 있기 때문이다.
• 벤치마크를 만들다 보니 평가 인프라 자체가 수요가 됐다. 사람들이 하네스를 프롬프트 최적화와 배포 전 회귀 테스트, 강화학습 롤아웃에 쓰기 시작했고, 로컬 도커로는 동시 6개 환경이 한계여서 수백~수천 개를 병렬로 돌릴 하버(Harbor)를 새로 만들었다.

자주 묻는 질문

관련 AI 소식