웹 에이전트 평가, 최종 결과 대신 계획 능력을 쪼개 측정하는 방법: YC 발표 정리

핵심 메시지

• 웹 에이전트 평가는 최종 결과 판정에 집중되지만, 그 사이의 계획 단계가 어디서 어긋나는지는 거의 측정되지 않는다.
• 계획 단계를 그대로 평가하려면 이미지·도구 호출·텍스트가 뒤섞인 긴 문맥을 10~15단계 통째로 넣어야 해 비용이 크고, 최신 모델의 오류는 미묘해져 건초더미에서 바늘 찾기가 된다.
• 연구팀은 실제 궤적을 관찰해 에이전트가 반복적으로 쓰는 기술을 시간 순서 판단, 미래 상태 예측, 행동 선택, 오류 수정으로 분리했다.
• 기존 데이터셋을 재활용해 사람 개입 없이 값싼 합성 문제를 만들어 각 기술을 따로 채점한다. 예를 들어 두 스크린샷 중 어느 화면이 먼저 오는지 묻는 방식이다.
• 테스트가 단순한데도 공개 모델 대부분의 평균 점수가 50% 아래였고, 이 점수는 최종 과제 성능과 상관을 보였다.

쉽게 이해하기

YC의 첫 YCML 행사에서 카네기멜런대 석사 과정 연구자 수르간 잔디알(Surgan Jandial)이 웹 에이전트의 계획 능력을 어떻게 평가할지에 대한 연구를 소개했다. 이 작업은 지난해 EMNLP에서 발표됐다. 웹 에이전트는 '가장 싼 4K 모니터를 찾아라' 같은 과제를 받으면 화면을 입력으로 받아 먼저 어떻게 풀지 생각하고, 그 생각에 근거해 화면에서 할 구체적인 조작을 예측한다. 이 과정을 5단계, 10단계 반복해 최종 결과를 낸다.

지금의 평가는 대체로 마지막 산출물에 채점 기준이나 검증기를 붙이는 방식이다. 발표자는 최종 결과 평가가 상대적으로 쉬운 편이라고 보고, 그 중간의 계획 단계를 어떻게 볼지에 관심을 두었다. 문제는 비용이다. 계획은 과거 문맥에서 생성되고 미래에 할 일에 대한 것이라, 한 단계의 계획을 평가하려면 앞뒤 문맥이 전부 필요하다. 웹 에이전트의 문맥에는 이미지와 여러 도구 호출, 다양한 텍스트가 들어 있고 그런 단계가 10~15개 이어진다. 게다가 모델이 좋아지면서 뻔한 실수가 줄어 오류가 미묘해졌기 때문에, 긴 궤적에서 문제를 찾는 일은 건초더미에서 바늘을 찾는 작업에 가까워진다.

발표자는 시각적 질의응답을 비유로 들었다. '사자 왼쪽에 있는 동물은 무엇인가'는 사람에게 한 개의 질문처럼 보이지만, 모델은 사자를 화면에서 특정하고 좌우를 이해한 다음 그 자리의 동물을 찾아 답해야 한다. 이 모든 단계를 맞혀야 정답이 나온다. 계획도 같은 식으로 쪼갤 수 있다는 것이 출발점이다. 연구팀은 여러 과제의 실제 궤적을 반자동으로 훑어 에이전트가 되풀이하는 기술을 골라냈다. 에이전트는 지금 화면이 목표로 가는 올바른 방향인지 늘 확인하는데(장바구니 담기 다음에 결제가 오는지 같은 판단), 이는 웹 화면들의 시간 순서 판단이다. 현재 위치에서 목표 화면으로 가려면 무엇이 도움이 될지 따지는 미래 상태 예측, 여러 선택지를 견주어 하나를 고르는 행동 선택, 그리고 틀렸을 때의 오류 수정이 뒤따른다.

다음 단계는 이 기술들을 실제로 채점하는 것이다. 조건은 두 가지였다. 값이 싸야 하고, 해석 가능해야 한다. 그래서 새 데이터를 만들거나 사람을 투입하지 않고 기존 데이터셋을 재활용해 합성 문제를 생성했다. 시간 순서 판단이라면 스크린샷 두 장(예: 학술 검색 첫 화면과 과제 완료 화면)을 주고 어느 쪽이 먼저 오는지 묻는 식이다. 각 기술마다 이런 문제를 만들어 점수를 내고, 그 점수들을 합쳐 계획 능력에 대한 값을 얻는다. 특정 궤적의 특정 지점을 판정하는 대신, 기술 수준의 일반적인 척도를 얻는 방향이다.

결과는 두 가지였다. 첫째, 문제가 단순한데도 평균 점수가 대부분 50% 아래였다. 컴퓨팅 제약 때문에 공개 모델을 대상으로 했다는 전제가 있지만, 이런 테스트에서 50%를 넘지 못하는 것은 좋지 않은 성적이고 각 차원에서 개선이 필요하다는 뜻이다. 둘째, 이 기술 점수들의 평균이 최종 과제 성능과 강하게 상관했다. 그래서 발표자는 이 방법을 기존 평가의 대체가 아니라 보완으로 규정했다. 궤적을 돌려 사고 과정을 평가하는 작업은 여전히 필요하지만, 그 전에 10달러 수준의 오프라인 테스트로 예비 평가를 해 후보를 걸러내고 어디가 약한지 짚은 다음 비싼 검사를 돌리자는 제안이다.

주요 인사이트

• 에이전트 평가의 비용 구조가 방법론을 바꾼다. 궤적 전체를 문맥에 넣어야 하는 평가는 단계 수에 따라 비용이 불어나므로, 값싼 대리 지표를 먼저 통과시키는 2단계 구성이 현실적인 선택이 된다.
• 모델이 좋아질수록 오류가 미묘해져 찾기 어려워진다는 지적은 평가 설계의 일반 원칙에 가깝다. 눈에 띄는 실수가 사라진 뒤에는 능력을 쪼개 개별적으로 측정하는 쪽이 유리하다.
• 기술을 먼저 정하고 문제를 만드는 대신 실제 궤적에서 반복되는 행동을 관찰해 기술 목록을 뽑았다는 점이 방법의 핵심이다. 평가 항목이 연구자의 짐작이 아니라 에이전트의 실제 동작에서 나온다.
• 합성 문제를 기존 데이터셋 재활용으로 만든 덕에 사람 라벨링 없이 확장할 수 있다. 두 스크린샷의 순서를 묻는 문제처럼, 원래 데이터에 이미 들어 있는 순서 정보를 문제로 바꾼 것이다.
• 세부 점수가 최종 성능과 상관한다는 결과는 이 지표들이 진단 도구가 될 수 있다는 근거다. 어느 차원이 낮은지 알면 그 부분을 겨냥해 학습을 손볼 수 있다.

자주 묻는 질문

관련 AI 소식