AI 에이전트 평가(Eval) 완벽 정리: 골든 데이터셋부터 LLM 심판까지

핵심 메시지

• 에이전트를 만드는 것보다, 그것이 실제 운영 환경에서 제대로 작동하는지 아는 것이 훨씬 어렵다.
• 평가(eval)는 AI 출력 품질을 체계적으로 측정해 '내 에이전트가 나아지고 있는가, 아니면 무언가를 망가뜨렸는가'에 답한다.
• 벤치마크는 모델을 비교할 때 유용하지만, 내 데이터·프롬프트·사용자를 본 적이 없으므로 내 시스템 평가를 대신하지 못한다.
• 지표부터 고르지 말고, 좋은 출력과 나쁜 출력 예시를 담은 '골든 데이터셋'부터 만들어라.
• 평가는 일회성 성적표가 아니라, 소프트웨어의 CI/CD처럼 계속 도는 루프여야 한다.

쉽게 이해하기

발표자는 에이전트를 만드는 일은 오히려 재미있는 부분이고, 진짜 어려운 것은 그것이 실제 환경에서 제대로 작동하는지 아는 것이라고 말한다. 몇 가지 도구를 붙여 한 번 돌렸을 때 마법처럼 결과가 나와도, 그 한 번이 프로덕션에서 계속 이어진다는 보장은 없다. 그 확신을 주는 것이 바로 평가(eval)다.

벤치마크와 평가는 다르다. SWE-bench, Tau-bench, terminal-bench 같은 벤치마크는 모든 모델에 같은 시험을 치른다. 반면 평가는 내 업무·내 데이터·내 프롬프트에 대한 시험이다. 리더보드 최상단 모델도 당신의 구체적 사용 사례에서는 무너질 수 있는데, 그 벤치마크가 당신의 데이터를 본 적이 없기 때문이다. 실제로 모델이 실험실에서 얻는 점수와 실제 업무 성능 사이에는 대략 3분의 1 정도의 격차가 나타난다.

평가가 예전보다 까다로워진 이유가 있다. 전통적인 머신러닝은 출력이 깔끔했다. 스팸이냐 아니냐, 예상 집값 같은 것이라 정확도·정밀도·재현율·F1으로 객관적으로 채점할 수 있었다. 그러나 LLM과 에이전트의 출력은 열린 텍스트이거나 일련의 행동이며, 대개 정답이 하나가 아니다. 같은 기사를 두고 서로 완전히 다른 훌륭한 요약이 100가지나 나올 수 있다. 객관식 채점에서 에세이 채점으로 넘어간 셈이라 채점 기준표와 판단이 필요하다.

지표는 크게 세 범주로 나뉜다. 첫째는 BLEU·ROUGE·METEOR 같은 단어 겹침 기반으로, 빠르고 싸지만 의미를 못 본다. 둘째는 BERTScore·BLEURT·COMET 같은 의미 기반으로, 임베딩을 써서 바꿔 쓴 표현도 잡는다. 셋째는 LLM을 심판으로 쓰는 모델 기반(LLM-as-judge, G-Eval)으로, 참조 답 없이 열린 창작물을 평가한다. 핵심 지표는 관련성, 충실도(환각 확인), 정확성, 일관성이며, 맞는 지표는 작업에 따라 다르다. 요약이면 충실도, 분류면 정확도·F1, 번역이면 의미 보존(BLEU·COMET), RAG면 맥락 정확도와 답변 관련성이다.

채점 방법은 네 가지다. 인간 평가는 품질의 기준점이지만 느리고 비싸 작은 표본에만 쓴다. 사용자 신호(좋아요·수정·완료 여부)는 진짜지만 노이즈가 많고 출시 후에만 얻는다. 코드 기반 평가(단언)는 JSON이 유효한지·적절한 도구를 썼는지·비용과 지연은 얼마인지를 싸고 즉시 확인하지만 답이 명확할 때만 유효하다. LLM 심판은 대규모로 열린 질문을 채점하지만 편향이 있어 인간 표본으로 보정해야 한다. 마지막으로 이 모든 것을 소프트웨어의 CI/CD처럼 루프로 묶는다. 좋음을 정의하고, 골든 데이터셋을 만들고, 지표를 고르고, 베이스라인을 재고, 실패를 유형별로 묶어 고친 뒤 같은 데이터셋으로 다시 돌린다. 모델 제공자가 밤새 모델을 조용히 바꾸므로 이 루프는 결코 멈추지 않는다.

주요 인사이트

• 리더보드 최상위 모델도 당신의 데이터를 본 적이 없기에 당신의 사용 사례에서는 실패할 수 있다.
• 실패를 유형별로 묶어 보면(검색 실패, 형식 오류, 특정 예외 등) 무엇을 고쳐야 할지 정확히 드러난다.
• 베이스라인 점수 없이 '좋아진 것 같다'는 느낌은 데이터가 아니다. 먼저 현재 시스템의 기준 점수를 재라.
• LLM 심판은 긴 답변이나 먼저 본 답변을 선호하는 편향이 있어, 인간 표본 점검으로 보정해야 신뢰할 수 있다.
• 데모를 만드는 사람과 실제로 배포하는 사람을 가르는 것은 반복적인 측정, 곧 평가다.

자주 묻는 질문

관련 AI 소식