AI 애플리케이션 평가 방법: 골든 데이터셋과 지표, 오프라인·온라인 평가 정리

핵심 메시지

• 모델 자체를 평가하는 것과 그 모델 위에 만든 애플리케이션을 평가하는 것은 다르며, 대다수 개발자에게는 후자가 더 중요하다.
• 벤치마크 점수가 높은 모델이라도 프롬프트 템플릿·RAG 방식·파인튜닝·양자화 등 다른 요소 때문에 내 앱 품질이 그대로 좋아지지는 않는다.
• 평가의 출발점은 '골든 데이터셋'(정답 사례)이며, 사용자 로그·수작업 작성·AI 생성(단, 검증 필요) 등으로 마련한다.
• 정확도·관련성·정중함·응답 길이·지연시간 등 관심 지표를 정의하고 오프라인·온라인 평가를 상황에 맞게 병행한다.

쉽게 이해하기

영상은 그동안 다뤄 온 'LLM·RAG·토큰 수 같은 기법을 시도해 보라'는 조언에서 한 걸음 더 나아가, 그것이 실제로 잘 동작하는지 어떻게 판단하느냐는 물음, 즉 평가(evaluation)를 다룬다. 핵심은 모델을 평가하는 것과 그 위에 얹은 애플리케이션을 평가하는 것을 구분하는 데 있다.

벤치마크 점수가 높은 모델을 쓴다고 내 애플리케이션 품질이 자동으로 좋아지는 것은 아니다. 프롬프트 템플릿, RAG 접근, 파인튜닝, 양자화 같은 알고리즘적 선택이 실제 품질을 크게 좌우하기 때문이다.

평가는 좋은 응답의 예시, 즉 '정답(ground truth)' 또는 '골든 데이터셋'에서 출발한다. 이 데이터는 사용자 상호작용 로그(정책이 허용할 때), 도메인 지식을 바탕으로 한 수작업 작성, 또는 신중히 설계한 프롬프트로 AI가 생성하는 방식으로 마련할 수 있다. 다만 합성 데이터는 LLM 심사와 사람 검토로 반드시 검증해야 한다.

다음으로 관심 지표를 정의한다. 관련성·정확도·정중함·유창성·응답 길이는 물론 지연시간이나 토큰 수까지 수십 가지가 가능하며, 각 지표마다 여러 평가 기법이 있다(pointwise 평가). 필요하면 명확한 기준과 일관된 채점 방식을 갖춘 커스텀 지표도 만든다. 실행은 Vertex AI 생성형 AI 평가 서비스 같은 기성 도구나 직접 만든 파이프라인으로 한다.

마지막으로 평가 시점을 구분한다. 오프라인 평가는 배포 전 개발 단계나 MLOps 파이프라인에서 품질 기준 충족을 확인하는 통합 테스트 성격이고, 온라인 평가는 응답을 사용자에게 보내기 전 실시간으로 점검해 기준 미달 시 재생성하는 방식이다. 평가는 개발부터 운영까지 라이프사이클 전반에서 유용하다.

주요 인사이트

• '동작하는지'를 감이 아니라 정답 데이터와 지표로 측정 가능하게 만드는 것이 평가의 핵심이다.
• 합성 평가 데이터는 편향·중복 위험이 있어 LLM 심사(LLM as judge)와 사람 검토로 반드시 검증해야 한다.
• 평가를 통합 테스트처럼 MLOps 파이프라인에 넣으면 코드 변경이 품질을 떨어뜨리는지 조기에 잡을 수 있다.
• 온라인 평가로 사용자에게 응답을 보내기 전 다른 LLM으로 관련성·정중함을 점검하고 기준 미달 시 다시 생성할 수 있다.

자주 묻는 질문

관련 AI 소식