AI 제품 평가 방법: 휴먼 피드백·오류 분석·LLM-as-a-judge로 개선하기

핵심 메시지

• LLM 덕분에 시제품(PoC)은 쉽게 만들 수 있지만, 출력이 확률적·주관적이라 전통적 소프트웨어 테스트로는 품질을 측정하기 어렵다는 데서 실패가 시작된다.
• 평가 지표는 개발과 동시에 정의해야 하고, 기술 중심이 아니라 사용자 중심 측정으로 바꿔야 하며, 최종 출력만이 아니라 시스템의 궤적(trace)을 봐야 한다.
• 가장 값진 피드백은 해당 도메인 전문가(SME)의 사람 피드백이며, 20~100개 표본 질의에 대해 통과/실패 이진 판정과 서술형 근거를 받는 것이 출발점이다.
• 실패 사례를 공통 유형으로 묶는 '오류 분석'을 통해 제품 고유의 평가 지표가 드러난다. 평가 기준은 미리 정하는 것이 아니라 관찰된 실패 패턴에서 나온다.
• 사람 피드백으로 지표를 정의·정렬한 뒤에야 LLM-as-a-judge로 확장해야 하며, 각 지표마다 독립된 심판 프롬프트를 두고 Cohen's kappa 등으로 사람과의 일치도를 맞춘다.

쉽게 이해하기

발표자 Adam Lucek은 "기업 생성형 AI 파일럿의 95%가 실패한다"는 통계에서 출발한다. LLM API에 입력을 넣어 그럴듯한 출력을 받으면 아이디어의 가능성은 쉽게 확인되지만, 그 시제품을 실제 제품으로 확장하고 출력 품질을 정량화하는 일은 전혀 다른 문제다. 출력이 확률적이고 주관적이라 사용자마다 결과가 달라지고, 전통적 QA 기법을 그대로 쓰기 어렵기 때문이다.

그는 개선을 위해 세 가지가 필요하다고 말한다. 첫째, 지표를 개발과 나란히 정의할 것. 둘째, 평가·성공 지표를 기술 중심에서 사용자 중심으로 전환할 것. 셋째, 입력에서 최종 출력까지 이어지는 시스템의 궤적(trace)을 살필 것. 그는 LLM 시스템을 인턴이나 직원을 평가하듯 "과제를 이해했는가, 올바른 단계를 밟았는가, 적절한 도구를 썼는가" 같은 질문으로 본다.

핵심은 사람 피드백이다. 시나리오와 페르소나를 정의하고 다양한 표본 질의(20~100개)를 시제품에 돌려 입출력을 기록한 뒤, 도메인 전문가에게 통과/실패의 이진 판정과 충실한 서술형 근거를 받는다. 1~10점 척도 대신 이진 판정을 쓰는 이유는 척도의 중간값 차이가 해석하기 어렵고 신호가 약하기 때문이다. 이렇게 모은 실패 사례를 공통 유형으로 묶는 '오류 분석'에서 제품 고유의 지표가 떠오른다.

발표자는 실제 사례로, 경쟁사 분석 에이전트가 만든 보고서의 인용이 부적합했던 문제를 든다. 궤적을 추적하니 웹 검색 도구에 자연어 대신 검색엔진식 필터를 넣고 있었고, 여기서 '검색 도구가 기대하는 질의 형식 준수'라는 구체적 지표가 도출됐다. 그는 또 평가 기준이 채점 과정에서 비로소 명확해지는 '기준 표류(criteria drift)' 현상도 소개한다.

사람 피드백으로 지표를 정의·기준선화한 다음에야 LLM-as-a-judge로 자동화·확장한다. 흔한 실수는 사람 피드백 단계를 건너뛰고 곧장 쓸모없는 LLM 심판을 만드는 것이다. 심판에는 가장 강력한 모델을 쓰고, 이진 판정을 유지하며, 지표마다 독립 프롬프트를 두고, Cohen's kappa 같은 일치도 지표로 사람 판정과 정렬한다. 단순한 형식 검사는 정규식 같은 함수로 처리하고, Langsmith·Langfuse 같은 관측 플랫폼으로 궤적을 본다.

주요 인사이트

• 평가 지표를 시제품보다 먼저 정의하려 하면 무엇을 측정할지 모르는 '닭이 먼저냐 달걀이 먼저냐' 문제에 빠진다. 먼저 시제품을 만들어 기준선을 관찰한 뒤 지표를 끌어내야 한다.
• 개발자 자신은 AI 전문가일 수는 있어도 적용 도메인의 전문가는 아니다. 가장 유용한 판정과 개선 방향은 해당 도메인의 제3자 전문가와 협업할 때 나온다.
• 평가·개선을 위해 쌓은 지표와 데이터셋은 DSPy 같은 알고리즘적 프롬프트 최적화, 자기개선 에이전트, 그리고 평가 함수를 보상 함수로 삼는 강화학습으로 자연스럽게 확장된다.
• 제품이 진화하면 지표도 표류하므로 평가는 한 번으로 끝나지 않는다. 지속적 설문·재주석, 그리고 버전 간 쌍대 비교(pair-wise) 실험으로 회귀와 개선을 확인해야 한다.

자주 묻는 질문

관련 AI 소식