터미널 벤치로 본 AI 에이전트 평가의 현재 실력과 앞으로 5년의 핵심 과제 정리

핵심 메시지

• 언어모델 평가의 관심사가 객관식 지식 측정에서 여러 차례 상호작용하며 실제 작업을 끝내는 능력으로 옮겨갔다.
• 터미널 벤치는 80개 과제 각각에 사람이 검증한 정답 풀이와 테스트, 그리고 고유한 도커 환경을 붙여 놓은 벤치마크다.
• 공개 3일 만에 주요 모델 카드에 인용될 만큼 표준으로 자리잡았지만, 최고 성능 모델도 50% 안팎에 머문다.
• 여러 모델에 무작위로 작업을 나눠 보내는 '모델 얼로이' 방식이 성능을 최대 7%까지 끌어올린다는 관찰이 나왔다.
• 발표자는 앞으로의 평가가 비용 대비 성능이 아니라 에이전트가 실제로 벌어들이는 돈을 축으로 삼게 될 것이라고 내다본다.

쉽게 이해하기

발표자는 스탠퍼드에서 언어모델 평가를 연구하는 마이크 메릴로, AI 평가 커뮤니티 모임에서 자신이 만든 터미널 벤치를 소개한다. 그는 지금이 평가를 연구하기 좋은 시점인 이유부터 설명한다. 몇 해 전만 해도 관심사는 'AI가 무엇을 아는가'였고 객관식 문제로 입력과 출력을 비교하면 됐지만, 이제는 'AI가 무엇을 할 수 있는가'로 바뀌었다. 성공 기준이 명확하지 않은 상태에서 여러 차례 주고받는 상호작용을 평가해야 한다는 뜻이다.

터미널을 무대로 고른 이유는 세 가지다. 텍스트 기반이라 언어모델이 가장 잘 다루는 형식이고, 명령을 쓰거나 코드를 짜는 것만으로 컴퓨터에서 할 수 있는 거의 모든 일을 할 수 있으며, 무엇보다 시스템 관리자나 보안 연구자처럼 실제로 돈을 받고 일하는 전문가들이 쓰는 공간이라는 것이다. 발표자는 클라우드 콘솔을 30분 동안 클릭해서 하는 설정을 명령 한 줄로 끝내는 엔지니어를 예로 들며, 최고의 엔지니어처럼 일하는 에이전트를 만들 수 있느냐가 출발 질문이었다고 말한다.

벤치마크의 구성은 단순하지 않다. 80개 과제 각각을 주로 박사급 기여자가 직접 작성하고, 검증된 정답 풀이와 테스트 케이스, 그리고 그 과제만을 위한 도커 환경을 함께 제공한다. 입력과 출력만 주는 방식이 아니라 환경 자체를 통째로 주는 셈이다. 과제로는 리눅스 커널을 소스에서 통째로 빌드하기, 합성용 DNA 서열 조립 같은 과학 계산 워크플로, 코볼 프로그램을 현대 언어로 옮기기, 그리고 누구나 한 번쯤 겪는 망가진 파이썬 환경 복구 같은 것들이 들어 있다.

성능 이야기는 냉정하다. 공개 사흘 만에 주요 모델 카드에 오르며 표준처럼 쓰이기 시작했지만, 최고 성능도 50% 안팎이고 자체 에이전트로 측정한 최신 모델이 대략 50%, 일부 비공개 에이전트가 57% 수준이다. 실패 양상도 인간적이다. 한 모델은 텍스트 편집기 세션에 들어갔다가 빠져나오는 법을 몰라 종료 단축키를 계속 연타하며 패닉에 빠졌고, 다른 오픈소스 에이전트는 시니어 엔지니어처럼 굴며 사용자에게 직접 구현하라고 떠넘겼다. 성능을 끌어올리는 요인으로는 더 나은 모델 자체, 에이전트가 스스로 막힌 상황에서 빠져나오게 돕는 스캐폴드 설계, 그리고 궤적 도중 여러 모델에 무작위로 호출을 나누는 모델 얼로이가 꼽힌다.

다음 단계로는 더 어려운 100개 과제로 구성한 후속 버전과, 수천 개 평가를 동시에 돌릴 수 있는 대규모 병렬 실행 하네스가 준비 중이다. 과제 검수 과정에서는 일부러 부정행위를 시도하는 에이전트를 만들어 환경의 허점을 찾게 했는데, 다른 벤치마크에서 저장소의 커밋 기록을 미리 들여다봐 정답 패치를 그대로 옮기는 사례가 실제로 있었기 때문이다. 발표자는 앞으로의 평가가 비용 대비 성능 곡선을 넘어, 에이전트를 실제 환경에 투입했을 때 얼마를 벌어주는지를 보는 방향으로 갈 것이라고 전망한다.

주요 인사이트

• 입력과 출력만 비교하는 벤치마크와 달리, 과제마다 고유한 실행 환경을 통째로 제공하면 훨씬 현실적인 능력을 측정할 수 있다.
• 에이전트를 언제 멈출지 정하는 기준이 성능 측정을 좌우한다. 실행 시간으로 자르면 느린 API 때문에 억울하게 실패하고, 단계 수로 자르면 임의의 에이전트와 호환되지 않는다.
• 여러 모델을 섞어 무작위로 호출을 분산하는 것만으로 성능이 오른다는 관찰은, 앙상블 효과가 에이전트 단계에서도 작동함을 시사한다.
• 벤치마크를 공개하면 학습 데이터 오염 위험이 있지만, 발표자는 재현과 확산의 이점이 더 크다고 판단했다. 오염을 걸러낼 표식 문자열을 모든 파일에 넣어 두는 것이 절충안이다.
• 에이전트의 과정이 아니라 최종 상태만 채점한다는 점은 명확한 한계다. 사람이 실제로 병합할 만한 풀이인지 평가하는 기준은 아직 비어 있다.

자주 묻는 질문

관련 AI 소식