생성형 AI 평가 방법: 공개 벤치마크의 한계와 실무용 평가 데이터셋·단위 테스트 만드는 법

핵심 메시지

• 공개 벤치마크는 모델을 대략 비교하는 용도이며, 리더보드 순위가 실제 사용자 선호와 뒤집히는 일이 실제로 벌어진다.
• 평가는 정답과의 동등성 같은 전역 지표(숲)와 개별 실패를 잡아내는 단위 테스트(나무)를 함께 갖춰야 한다.
• 무엇이 나쁜 답인지는 개발자가 정할 수 없고 현업 전문가와 실사용자에게서 끌어내야 하며, 이 과정이 가장 어렵고 가장 중요하다.
• 설정은 한 번에 하나씩만 바꿔야 어떤 변경이 어떤 효과를 냈는지 알 수 있다.
• 에이전트 시스템의 평가는 어떤 작업으로 보낼지 정하는 라우팅과 각 작업의 수행 품질, 두 단계로 나눠 오류를 분석한다.

쉽게 이해하기

생성형 AI로 맞춤형 이메일을 쓰는 일은 시작은 쉽지만 운영에 올리는 순간 이야기가 달라진다. 강연은 커서(Cursor)의 고객 지원 봇이 실제로는 없는 정책, 즉 구독 하나당 기기 하나만 쓸 수 있다는 규정을 만들어 낸 사례를 든다. 사용자들이 그것을 진짜 정책으로 믿으면서 해지가 이어졌고 금전적·평판상 피해로 이어졌다. 법원이 챗봇의 발언을 직원의 발언과 다르지 않게 본다는 점, 생성한 이미지가 남의 저작물과 닮을 수 있다는 점도 같은 맥락의 위험이다.

그렇다면 벤치마크를 믿으면 되지 않을까. 강연자는 그렇지 않다고 말한다. 앤트로픽이 모델 세대를 비교했을 때 벤치마크상으로는 새 모델이 나았지만 사람에게 물었더니 판단이 달랐다. 임베딩 모델에서도 리더보드 순위와 실제 사용자의 선호가 뒤집힌 사례가 보고됐다. 심지어 MMLU 같은 객관식 시험조차 어떤 평가 하네스를 쓰느냐에 따라 프롬프트의 사소한 표현 차이만으로 정확도가 최대 5퍼센트포인트까지 흔들려 순위가 바뀐다.

재현성 문제도 남아 있다. 같은 입력과 온도, 시드를 줘도 출력이 같지 않아 시스템 지문 같은 장치가 도입됐지만 여전히 완전한 결정성은 확보되지 않았고, 희소 전문가 혼합 구조가 퍼지면서 더 어려워질 것이라는 전망도 나온다. 결국 평가하는 사람이 모델의 프롬프트 민감도와 비결정성을 지도처럼 파악하고 있어야 한다는 것이 강연의 첫 번째 요구다.

실무 절차는 명료하다. 먼저 전문가와 함께 정답, 즉 골드 답변을 만들고 모델 출력이 그것과 사실상 같은지 판정하는 동등성 지표를 세운다. 단일 지표이므로 설정을 바꿔가며 개선 여부를 바로 확인할 수 있다. 다만 이것은 숲을 보는 방식이라 톤이나 스타일, 법적 준수 같은 면은 놓친다. 그래서 나쁜 예시를 모아 실패 유형을 분류하고, 길이 검사처럼 파이썬 몇 줄로 끝나는 테스트와 톤 판정처럼 모델을 심판으로 쓰는 테스트를 함께 만든다.

강연은 성과가 선형으로 쌓인다는 통념도 깬다. 열심히 해도 진전이 없다가 우연한 시도에서 크게 튀는 것이 실제 모습이며, 평가 데이터셋을 만들고 지표를 끌어올린 뒤에는 반드시 실사용자 수용 테스트를 거쳐 다시 개선하는 순환을 돌아야 한다. 이때 평가셋에 과적합되지 않도록 경계해야 하고, 심판 모델이 앞쪽 항목을 선호하는 위치 편향이나 긴 답변을 선호하는 경향을 가진다는 점도 감안해야 한다.

주요 인사이트

• 평가는 기술 지표만의 문제가 아니다. 아무리 잘 만들어도 사업적으로 돈을 벌거나 아끼지 못하면 채택되지 않고, GPU를 잔뜩 쓰는 구조라면 운영 비용이 발목을 잡는다.
• 가장 어려운 작업은 코드가 아니라 대화다. 무엇이 나쁜 답인지 정의하려면 현업 전문가와 실사용자의 머릿속을 꺼내야 하며, 그것을 평가 흐름에 넣지 못하면 평가 자체가 사용자가 중요하게 여기는 것을 담지 못한다.
• 도구는 나중 문제다. 강연자가 함께 일하는 팀은 전용 라벨링 도구 없이 스프레드시트만으로 충분히 굴러가며, 도구를 만드는 재미에 빠져 정작 문제를 놓치는 경우를 경계하라고 조언한다.
• 프레임워크는 데모에는 좋지만 수명이 긴 애플리케이션에서는 부담이 된다. 문제가 생기면 자기 코드가 아니라 남이 짠 프레임워크 내부를 파고들어야 하기 때문이다.
• 합성 데이터는 평가용 질문을 만드는 데는 유용하지만 답변 생성에는 환각 위험이 크고, 다양성이 부족해 모델이나 평가를 좁게 만들 수 있다.

자주 묻는 질문

관련 AI 소식