AI 평가(eval) 제대로 하기: 트레이스 100개 분석과 LLM-as-judge를 검증하는 법

핵심 메시지

• AI 제품 평가의 출발점은 화려한 지표가 아니라, 실제 대화 기록(트레이스)을 직접 읽는 '오류 분석'이다.
• 트레이스 약 100개를 보며 무엇이 잘못됐는지 메모하고(오픈 코딩), 이를 몇 개 범주로 묶어(액시얼 코딩) 문제 빈도를 센다.
• LLM-as-judge는 반드시 이진(true/false)으로 출력해야 하며, 1~5점 척도는 거짓 정밀도만 낳는다.
• 심판의 성능은 '일치율(agreement)'이 아니라 참긍정률·참부정률(혼동행렬)로 사람 라벨과 대조해 측정해야 한다.
• 범용 지표(도움됨·유해성 점수)를 그대로 보고하지 말라. 내 제품의 실제 문제와 어긋나 시간만 낭비하게 만든다.

쉽게 이해하기

피터 양의 진행으로 하멜 후사인은 부동산 관리용 AI 비서 '너처 보스(Nurture Boss)'를 예시로 실전 평가 방법을 보여준다. 그는 먼저 '트레이스'가 무엇인지부터 짚는다. 트레이스란 사용자와 AI가 주고받은 전체 상호작용 기록으로, 시스템 프롬프트와 도구 호출처럼 사용자에게 보이지 않는 내부 과정까지 포함한다. 정의를 설명하기보다 실제 로그를 열어 보는 편이 이해가 빠르다는 것이다.

핵심 절차는 의외로 단순하다. 트레이스 약 100개를 하나씩 열어 무엇이 잘못됐는지 짧게 메모한다. 근본 원인 분석이나 해결책을 적는 것이 아니라, '사람에게 연결을 요청했는데 무시됐다'처럼 문제를 관찰해 기록만 한다. 처음 몇 개는 고통스럽지만 10개쯤 지나면 빨라지고, 100개를 훑는 데 한 시간이면 충분하다. 이렇게 사람이 직접 라벨링한 데이터에서 나오는 통찰은 어떤 자동 지표보다 크다고 그는 강조한다.

메모가 쌓이면 AI의 도움을 받아 분석한다. 노트를 CSV로 내보내 클로드나 챗GPT에 넣고 5~6개 범주(액시얼 코드)로 묶게 한다. '오픈 코드·액시얼 코드'는 사회과학과 머신러닝에서 오래 쓰인 용어로, LLM이 의도를 정확히 이해하게 하는 지름길일 뿐 그냥 '분류해 줘'라고 해도 된다. 이어 스프레드시트의 AI 함수로 각 노트를 범주에 배정하고, 피벗 테이블로 어떤 문제가 몇 번 일어났는지 센다. '대화 흐름 문제', '사람 연결 실패' 같은 항목이 몇 분 만에 드러난다.

빈도가 높은 문제라고 모두 eval이 필요한 것은 아니다. 가장 잦았던 '날짜 처리' 오류는 프롬프트에 오늘 날짜를 넣지 않아 생긴 것이라, 날짜만 알려주자 사라졌다. 이런 것은 규칙 기반(코드) 평가로 값을 비교하면 충분하고 비용도 싸다. 반면 '사람에게 언제 넘겨야 하는가' 같은 주관적이고 반복 개선이 필요한 문제는 LLM 심판을 쓸 가치가 있다.

LLM 심판을 만들 때 흔한 실수는 다른 LLM에게 그냥 '좋아?'라고 묻는 것이다. 그래서 심판 자체를 검증해야 한다. 앞서 사람이 라벨링한 데이터가 정답 역할을 하므로, 심판의 판정을 사람 라벨과 대조한다. 이때 '일치율'은 함정이다. 오류가 10%만 일어난다면 '한 번도 실패 안 함'이라고만 해도 90% 일치가 나온다. 대신 혼동행렬로 참긍정률(실제 실패를 잡아내는 능력)과 참부정률을 봐야 한다. 심판은 반드시 이진으로 출력하고, 예시를 넣을 때는 데이터를 분리해 과적합을 피한다. 검증된 심판은 CI에 넣거나 프로덕션 트래픽 샘플에 돌려 상시 모니터링에 쓸 수 있다.

주요 인사이트

• '데이터를 보라'는 말은 추상적이지만, 실체는 트레이스 100개를 읽고 문제를 메모·분류·집계하는 구체적 작업이다. 평가의 가장 중요한 부분이면서 모두가 건너뛰는 단계다.
• 일치율(agreement)이라는 단어가 보이면 멈춰라. 기저 오류율이 낮으면 아무것도 안 잡아도 높은 일치율이 나오므로, 참긍정률·참부정률로 따로 봐야 한다.
• 이진 점수를 고집하는 이유는 '출시할 만한가, 아닌가'라는 결정을 강제하기 때문이다. 3.2점 대 3.7점 같은 척도는 아무도 그 의미를 모르는 거짓 정밀도다.
• 범용 지표(유해성·도움됨)는 그대로 보고하면 안 되지만, 오류 분석을 익힌 뒤에는 트레이스를 정렬·표본추출하는 '스마트 샘플링' 도구로는 유용하게 쓸 수 있다.
• 합성 데이터는 LLM에 '그럴듯한 질문 만들어 줘'라고만 하면 동질적으로 쏠린다. 고객 유형·등급 같은 '차원'을 먼저 정하고 조합별로 생성해야 입력 공간을 고르게 탐색한다.

자주 묻는 질문

관련 AI 소식