LLM 평가 방법 총정리 — LLM-as-a-Judge, 편향, 벤치마크(MMLU·SWE-bench)

핵심 메시지

• LLM을 개선하려면 먼저 성능을 측정할 수 있어야 하며, 자유 형식 출력 때문에 보편적 평가 지표를 만드는 일은 본질적으로 어렵다.
• 사람이 모든 출력을 채점하는 방식은 이상적이지만 비싸고 느리며 주관적이어서, 평가자 간 일치도(코언 카파 등)로 신뢰도를 관리한다.
• METEOR·BLEU·ROUGE 같은 규칙 기반 지표는 참조문과 비교하지만 표현의 다양성을 허용하지 못하고 사람 평가와의 상관도 낮다.
• LLM-as-a-Judge는 참조문 없이 점수와 '근거(rationale)'를 함께 내주지만, 위치·장황함·자기선호 편향을 주의해야 한다.
• MMLU(지식), AIME·PIQA(추론), SWE-bench(코딩), HarmBench(안전), τ-bench(에이전트) 등 벤치마크는 목적에 따라 나뉘며 데이터 오염을 경계해야 한다.

쉽게 이해하기

평가는 개선의 출발점이다. 무엇을 얼마나 잘하는지 측정하지 못하면 무엇을 고칠지 알 수 없기 때문이다. 문제는 LLM이 자연어·코드·수학 등 무엇이든 자유롭게 출력하는 텍스트-투-텍스트 모델이라 하나의 보편 지표를 세우기 어렵다는 점이다. 이 강의는 그중에서도 '출력 품질'을 어떻게 정량화하는지에 초점을 맞춘다.

가장 이상적인 방법은 사람이 매 출력을 채점하는 것이지만 비싸고 느리며, 유용성 같은 기준은 평가자마다 판단이 갈릴 만큼 주관적이다. 그래서 평가자 간 일치도를 관리한다. 단순 일치율은 이진 판정에서 무작위로 찍어도 약 50%가 나오기 때문에, 우연에 의한 일치를 보정한 코언 카파 같은 지표로 신뢰도를 추적하고, 낮으면 평가 기준을 맞추는 정렬 세션을 연다.

다음 대안은 참조문과 비교하는 규칙 기반 지표다. 번역용 METEOR·BLEU, 요약용 ROUGE 등이 있으며 n-그램 일치와 순서에 기반한다. 하지만 같은 뜻을 다른 문장으로 표현하면 낮은 점수를 주는 등 표현의 다양성을 허용하지 못하고, 사람 평가와의 상관도 그리 높지 않으며, 시작하려면 사람이 만든 참조문이 여전히 필요하다.

그래서 핵심으로 등장하는 것이 LLM-as-a-Judge다. 프롬프트·응답·평가 기준을 다른 LLM에 입력해 점수와 근거를 함께 얻는다. 참조문이 필요 없고 왜 그 점수인지 설명이 붙는 것이 큰 장점이다. 다만 먼저 제시된 답을 선호하는 위치 편향, 길다고 선호하는 장황함 편향, 자기가 생성한 답을 선호하는 자기선호 편향이 있어, 순서를 바꿔 다수결을 하거나 생성과 평가에 다른(대개 더 큰) 모델을 쓰는 식으로 완화한다. 근거를 점수보다 먼저 출력하게 하고, 이진 척도와 낮은 온도를 쓰며, 구조화 출력으로 형식을 강제하고, 결과를 사람 평가와 정기적으로 대조하는 것이 모범 사례다.

사실성 평가는 텍스트를 개별 사실로 분해한 뒤 각 사실을 RAG나 웹 검색으로 확인하고 중요도 가중치로 합산한다. 에이전트 평가에서는 도구 미사용, 존재하지 않는 함수를 부르는 도구 환각, 잘못된 인자, 무의미한 도구 출력 등 단계별 실패 모드를 체계적으로 분류한다. 끝으로 벤치마크는 지식(MMLU), 추론(AIME·PIQA), 코딩(SWE-bench), 안전(HarmBench), 에이전트(τ-bench)로 나뉘며, 정답을 미리 학습하는 데이터 오염과 '측정이 목표가 되면 좋은 측정이 아니게 된다'는 굿하트의 법칙을 경계해야 한다.

주요 인사이트

• 무작위로 채점해도 이진 평가에서는 약 50% 일치가 나오므로, 단순 일치율 대신 우연을 보정한 코언 카파 같은 지표가 필요하다.
• LLM-as-a-Judge에서 점수보다 근거를 먼저 출력하게 하면, 추론 모델의 사고 사슬처럼 판단 품질이 경험적으로 좋아진다.
• 구조화 출력(constrained decoding)으로 판정 결과의 형식(JSON 등)을 강제하면 파싱 실패를 막을 수 있다.
• 사실성 평가는 텍스트를 개별 사실로 분해한 뒤 각 사실을 RAG·웹 검색으로 확인하고 중요도 가중치로 합산한다.
• 에이전트 평가에서는 도구 미사용·도구 환각·잘못된 인자·무의미한 도구 출력 등 단계별 실패 모드를 체계적으로 분류해 다뤄야 한다.

자주 묻는 질문

관련 AI 소식