AI 평가(eval) 실전 가이드: LLM 제품을 만드는 PM을 위한 4가지 평가 유형

핵심 메시지

• LLM은 환각(hallucination)을 일으키기 때문에, 모델을 파는 회사의 임원들조차 '반드시 평가하라'고 말한다. 평가는 AI 제품 품질을 측정하는 유일한 실질적 수단이다.
• 평가는 크게 네 가지다 — 코드 기반(문자열 검사 같은 규칙), 사람 평가(전문가의 좋음/나쁨 판정), LLM-as-judge(사람 대신 LLM이 라벨링), 사용자 평가(실사용자 피드백).
• 출발점은 화려한 프레임워크가 아니라 스프레드시트다. 소수의 예시를 직접 라벨링하고 팀과 토론하며 '좋음/나쁨'의 기준(루브릭)을 세우는 것이 가장 중요하다.
• LLM-as-judge는 사람 라벨과 얼마나 일치하는지(match rate)로 신뢰도를 검증해야 한다. 사람 라벨과 정렬되지 않은 LLM 심사자는 믿을 수 없다.
• 내부 테스트는 10개 안팎, 프로덕션 확신을 위해서는 100개 이상의 예시로 규모를 키우고, 출시 전 소규모 A/B 테스트로 실제 사용자 반응을 확인한다.

쉽게 이해하기

발표자 피터 양과 게스트 아만 칸(Arize 제품 총괄)은 'AI 평가란 무엇이고 왜 PM에게 가장 중요한 역량이 됐는가'를 실제 예시로 풀어낸다. 핵심 논거는 단순하다. LLM은 환각을 일으키고, 모델을 판매하는 기업의 최고제품책임자들조차 'AI 제품을 만든다면 평가를 갖추라'고 권한다. 결국 평가는 AI 시스템의 품질을 재는 실질적 잣대이며, 그 판단의 주체가 바로 PM이다.

두 사람은 평가를 네 유형으로 정리한다. 첫째, 코드 기반 평가 — 메시지에 특정 문자열이 있는지 검사하는 이진 통과/실패 방식이다(예: 유나이티드 챗봇이 델타 항공권 예약법을 안내하면 안 된다). 둘째, 사람 평가 — PM이나 전문가가 개별 응답에 좋음/나쁨을 매긴다. 셋째, LLM-as-judge — LLM이 사람처럼 라벨을 부여해 평가를 대규모로 확장한다. 넷째, 사용자 평가 — 실사용자의 반응을 비즈니스 지표에 가깝게 수집한다.

실전 예시로는 러닝화 브랜드 'On'의 고객지원 에이전트를 든다. 먼저 Anthropic 콘솔의 프롬프트 생성 기능으로 초기 프롬프트를 만들고, 사용자 질문·제품 정보·반품 정책을 변수로 넣는다. 그리고 응답들을 스프레드시트에 모아 제품 지식·정책 준수·말투 세 기준으로 좋음/평균/나쁨을 매긴다. 이 지루해 보이는 '구글 시트에서 데이터를 보고 팀과 토론하는' 과정이 사실 가장 중요한 단계라고 강조한다.

예시에서는 LLM의 약점도 드러난다. 주문 45분 뒤 배송지를 바꾸려는 질문에 모델이 '60분 취소 창을 넘겼다'고 잘못 답한다. LLM이 수학에 약해 정책 수치를 헷갈린 것이다. 이런 '나쁨' 사례에는 메모를 달아두고, 나중에 LLM으로 메모를 요약해 '프롬프트·제품에서 고칠 상위 3가지'를 뽑는 식으로 개선으로 이어간다.

마지막으로 LLM-as-judge를 스프레드시트의 사람 라벨과 비교해 일치율(match rate)을 계산한다. 예시에서 말투 기준은 사람 라벨과 잘 맞지 않았는데, 이는 심사 프롬프트를 더 엄격하게(예: 너무 긴 답변에 좋음을 주지 않도록) 다듬어야 한다는 신호다. 두 사람은 평가가 실제로는 앞뒤로 오가는 지저분한 반복 작업이며, 은탄환은 없다고 결론짓는다.

주요 인사이트

• '모델을 파는 사람들이 답을 검증하라고 말한다면, 그 말은 사실일 것이다' — 평가의 필요성은 벤더의 마케팅이 아니라 LLM의 근본 한계에서 나온다.
• 평가를 외부 계약직에게 통째로 넘기지 말라. PM이 직접 스프레드시트에서 데이터를 보며 '좋음/나쁨'을 판단하는 것이 제품 성패를 가른다.
• 데이터 양과 반복 속도는 상충한다. 데이터가 많으면 확신은 커지지만 반복은 느려진다. 팀에 맞는 균형점을 정해야 한다.
• 자동 프롬프트 최적화가 늘 개선을 주지는 않는다. 예시에서 '더 친근하게' 최적화한 프롬프트는 오히려 응답이 길어지고 덜 친근해졌다 — 현실 데이터와 감각이 필요하다.
• 사용자의 '싫어요'는 유용한 신호지만 해석이 어렵다. 시스템이 정책상 옳게 답해도 사용자가 화나서 누른 것일 수 있으므로, 지표가 엇갈릴 때 어떻게 판단할지 팀이 미리 정해야 한다.

자주 묻는 질문

관련 AI 소식