AI 에이전트 장기 과제 평가법: 시간 지평 측정 지표와 환경·판정 모델 루브릭 설계 원칙

핵심 메시지

• '장기 과제'는 되고 안 되고를 가르는 이분법이 아니라 상대적인 눈금이다. 1년 전의 장기 과제는 지금 기준으로 장기가 아니다.
• 사람이 걸리는 시간으로 재는 방식과 토큰·스텝·툴 호출 수로 재는 방식은 서로 다른 그림을 보여 준다. 둘 중 하나만 보면 판단을 그르친다.
• 무관한 작업을 이어 붙여 인위적으로 길게 만든 과제는 길기만 할 뿐 모델 능력을 재지 못한다. 앞선 판단이 뒤 단계를 바꾸는 순차적 복잡도가 있어야 한다.
• 정답 궤적 하나와 비교하는 채점은 개방형 과제에서 무너진다. 판정 모델도 환경을 직접 들여다보는 에이전트여야 한다.
• 발표자들이 검토한 금융 분야 벤치마크들은 과제당 평균 소요 시간이 짧고 이미 상당 부분 포화돼, 지금 모델의 한계를 재기에는 부족했다.

쉽게 이해하기

테타 소프트웨어(Theta Software)의 두 공동창업자가 AI 엔지니어 행사에서 '장기 과제(long horizon)' 환경을 주제로 발표했다. 이들이 먼저 꺼낸 것은 알고리즘이 아니라 정의 문제였다. 널리 쓰이는 측정 방식 하나는 사람을 기준선으로 삼아, 어떤 모델이 '16시간 임계'에 도달했다면 사람이 16시간 걸리는 과제를 50% 성공률로 해낸다는 뜻으로 읽는다. 다른 방식은 사람을 빼고 하나의 궤적에서 토큰을 얼마나 쓰는지, 몇 단계를 밟는지, 툴을 몇 번 부르는지 같은 모델 쪽 단위로 잰다.

두 방식 모두 약점이 있다. 토큰 수는 어떤 모델을 쓰는지, 어떤 하네스에 올렸는지에 따라 크게 흔들려 변수를 고정하지 않으면 해석하기 어렵다. 사람 기준도 마찬가지여서, 큰 엑셀 파일의 서식을 일일이 고치는 일은 사람에게 며칠짜리지만 모델은 파이썬 스크립트 한 번으로 끝내고, 상위 1%만 해내는 영역으로 갈수록 '사람이 몇 시간 걸리는가'라는 추정 자체가 부정확해진다. 그래서 발표자들은 두 지표를 함께 봐야 한다고 정리했다.

그다음 주제는 환경 설계였고, 모델 능력을 재는 축으로 세 가지가 제시됐다. 첫째는 툴 조율의 복잡도로, 예전에는 코드베이스에서 파일 하나를 읽는 수준이었다면 지금은 관측 도구와 CI/CD 기록, 클라우드 로그와 데이터베이스를 오가야 한다. 둘째는 상태 변화의 정도인데, 하위 에이전트들이 병렬로 파일을 훑는 과제와 대시보드 조회 하나의 실수가 이후 모든 단계로 번지는 과제는 길이가 같아도 성격이 다르다. 셋째는 모호성으로, 불완전한 정보를 주고 탐색하게 만들면 사람의 실제 업무에 가까워지지만 정답 경로가 늘어나 표준화된 평가는 훨씬 어려워진다.

발표의 무게중심은 검증자(verifier)에 실렸다. 경제적으로 가치 있는 업무 대부분은 스크립트 한 번으로 정답 여부를 가릴 수 없어 판정 모델과 루브릭이 들어오는데, 이때 최종 상태만이 아니라 에이전트가 거쳐 온 궤적까지 함께 본다. 샌드박스를 벗어나거나 숨겨진 테스트를 들여다보는 식의 보상 해킹은 결과만 봐서는 잡히지 않기 때문이다. 발표자들은 판정 모델도 저장소 로그와 클라우드 로그를 직접 확인하는 '또 하나의 에이전트'여야 한다고 보면서, 다만 채점 중 환경을 건드리지 않도록 읽기 전용 권한 같은 안전장치가 필요하다고 덧붙였다.

마지막으로 이들은 기존 벤치마크를 겨냥했다. 금융 영역의 대표 벤치마크 세 가지를 놓고 보니 과제당 평균 인간 소요 시간이 최신 모델의 시간 지평보다 훨씬 짧아 애초에 장기 과제로 보기 어려웠고, 한 벤치마크의 투자은행 부문은 57%의 사례에서 과제가 완전히 풀릴 만큼 이미 포화 상태였다. 다루는 범위도 좁아 신용·부채·리스크 같은 영역이 빠져 있었다. 반면 자체 제작한 금융 과제 50개 표본은 사람이 평균 15시간을 쓰는 난도였고, 여기서는 최신 모델들도 여전히 크게 고전했다고 밝혔다.

주요 인사이트

• 시간 지평 수치는 절대 기준이 아니라 측정 방법론의 산물이다. 같은 '16시간짜리 과제'라도 어떤 숙련도의 전문가를 기준으로 삼았는지에 따라 값이 달라지므로, 서로 다른 팀이 낸 숫자를 그대로 비교하는 것은 위험하다.
• 과제를 길게 만드는 것과 어렵게 만드는 것은 다르다. 독립적인 작업을 이어 붙이면 시간만 늘어난다. 앞 단계의 판단이 뒤 단계의 상태를 바꾸는 구조여야 에이전트의 진짜 약점이 드러난다.
• 개방형 과제에서 '모범 답안과 얼마나 비슷한가'로 채점하면 정답 경로를 인위적으로 좁히게 되고, 그만큼 에이전트가 탐색할 수 있는 공간도 줄어든다. 채점 기준을 촘촘하게 만드는 것과 판정 모델이 그 기준을 일관되게 적용할 수 있는지는 별개의 문제다.
• 보상 신호의 밀도가 낮으면 학습이 되지 않고, 모델이 아직 감당하지 못하는 난도의 과제에 촘촘한 루브릭을 들이대면 판정 자체가 흔들린다. 환경을 만드는 일은 결국 이 균형을 맞추는 작업이다.
• 벤치마크 점수가 높다는 것이 곧 어려운 문제를 푼다는 뜻은 아니다. 포화된 벤치마크는 모델 간 차이를 더 이상 구분해 주지 못하므로, 무엇을 재고 있는지부터 확인해야 한다.

자주 묻는 질문

관련 AI 소식