AI 에이전트 평가(eval) 실전 가이드: 벤치마크 천장이 아니라 신뢰를 깨는 바닥을 올려라

핵심 메시지

• 챗봇 시대에 만든 대규모 평가 데이터셋은 모델이나 하네스를 바꾸는 순간 상당수가 의미를 잃는다.
• 에이전트 품질은 가장 인상적인 능력인 '천장'이 아니라 최악의 동작인 '바닥'이 좌우한다.
• 이슈를 볼 때는 '언제 시작됐는가'와 '사용자 몇 퍼센트가 겪는가' 두 가지를 먼저 확인해야 한다.
• 평가는 클라우드 프롬프트 도구가 아니라 코드로 관리하는 테스트에 가까워지고 있다.
• 에이전트는 이상 탐지에 약하므로, 이상은 결정적 지표로 찾아내고 조사만 맡기는 편이 낫다.

쉽게 이해하기

AI 엔지니어 콘퍼런스의 '지속 학습' 트랙 강연에서 벤 하일랙은 현실의 제품에는 지속 학습이라 부를 만한 것이 사실상 거의 없다는 말로 발표를 시작했다. 그는 화려한 프레임워크를 나열하는 대신, 실제로 에이전트를 운영하는 팀들이 무엇을 하고 있는지에 집중하겠다고 밝혔다.

그가 지적한 첫 번째 문제는 평가(eval) 논의가 여전히 챗봇 시대에 머물러 있다는 점이다. 1~2년 전에는 '미국의 수도는?'처럼 정답을 아는 질문이 대부분이어서 사실 확인식 평가가 통했다. 그러나 에이전트는 도구를 쓰고 환경을 돌아다니며 개발자가 상상하지 못한 방식으로 문제를 우회한다. 특정 도구 호출을 전제로 짜둔 평가는 하네스를 바꾸는 순간 상당수가 무용지물이 된다.

그래서 그는 팀을 '벤치마크를 최대화하려는 쪽'과 '바닥을 끌어올리려는 쪽'으로 나눠 보라고 제안한다. 천장은 제품이 보여줄 수 있는 가장 놀라운 능력이고, 바닥은 경쟁사를 추천하거나 데이터를 지우거나 접근 권한이 있다는 이유로 엉뚱한 메일을 고객에게 보내는 것 같은 최악의 동작이다. 사용자의 신뢰를 실제로 무너뜨리는 쪽은 언제나 바닥이라는 것이 강연의 핵심 전제다.

평가 형식에 대한 조언도 분명했다. 이제 프롬프트는 단순한 지시문이 아니라 코드와 하네스 전체를 아우르는 것이 되었기 때문에, 평가 역시 단위 테스트나 종단 테스트처럼 코드로 관리하고 로컬에서 돌리는 편이 낫다는 것이다. 그는 클라우드에서 프롬프트를 관리하는 방식의 도구를 쓰는 회사를 요즘은 거의 보지 못한다고 말했다.

운영 관점에서는 이슈를 발견한 뒤 두 가지를 반드시 확인하라고 강조했다. 언제 시작됐는지, 그리고 사용자 중 몇 퍼센트가 겪는지다. 어제 시작된 문제라면 무엇을 바꿨는지 곧바로 되짚어볼 수 있고, 세 명이 겪는 문제와 십만 명이 겪는 문제는 우선순위가 완전히 다르다. 사용자가 수백만 명인 서비스라면 무료 사용자 일부를 대상으로 한 실험이 유용하지만, 사용자가 다섯 명인 사내 도구라면 A/B 테스트는 권하지 않는다고도 덧붙였다.

주요 인사이트

• 평가에 몇 달을 쏟아도 모델 교체 주기를 따라가지 못하면 '안전'이 아니라 '연극'이 된다. 새 모델 적용을 2주 미루면서까지 평가를 갱신할 것인지 자문해보라는 것이 그의 기준이다.
• 모델을 만드는 연구소와 그 위에서 제품을 만드는 회사는 책임의 성격이 다르다. 회사는 자사 데이터의 형태와 의미, 접근 방법 같은 도메인 지식을 모델에 주입하는 일을 한다.
• 제품 형태에 따라 사용자가 지는 책임도 다르다. 탭 자동완성은 틀리면 지우면 그만이지만, 사람의 일을 대신 수행하는 형태로 갈수록 잘못된 결과의 무게가 달라진다.
• 트레이스를 통째로 군집화하는 접근은 일회성 분석에는 쓸모가 있어도 운영에는 잘 맞지 않는다. 군집은 시간에 따라 안정적으로 추적하기 어렵고, 원인이 전혀 다른 문제들이 한 덩어리로 묶이기 쉽다.
• 분류기를 코드로 작성해 샌드박스에서 프로덕션 규모로 돌리는 방식은 잘 확장된다. 반면 에이전트에게 이상 자체를 찾아달라고 시키는 것은 잘 통하지 않는다.

자주 묻는 질문

관련 AI 소식