LLM 평가 방법 총정리: 참조 지표·인간 평가·LLM-as-Judge로 생성 품질 측정하기

핵심 메시지

• MMLU·GPQA 같은 객관식이나 코드 실행 테스트와 달리, '5학년에게 셀프 어텐션 설명하기'처럼 주관적인 생성 작업은 품질을 숫자로 재기 어렵다.
• 참조 기반 지표는 BLEU·ROUGE의 표면적 n그램 겹침에서, 의미 임베딩을 쓰는 BERTScore와 인간 선호를 예측하는 COMET·BLEURT로 발전해 왔다.
• 인간 평가, 특히 두 응답 중 선호를 고르는 방식은 LMSYS 챗봇 아레나처럼 체스 ELO 방식의 순위표를 만든다.
• 인간 평가는 비용이 크고 서식·길이 같은 표면적 요소에 쉽게 흔들려, 스타일을 분리해 내는 통제가 필요하다.
• LLM을 심사위원으로 쓰면 MT-Bench 기준 인간과 85% 일치해 사람끼리의 일치(81%)보다 높지만, 길이·위치·자기선호 편향은 반드시 보정해야 한다.

쉽게 이해하기

새 모델이 나올 때마다 벤치마크 점수가 오릅니다. MMLU나 GPQA처럼 네 개의 선택지에서 정답을 고르는 객관식 문제, 또는 라이브코드벤치처럼 코드를 실제로 실행해 테스트 통과 여부를 보는 문제는 채점이 명확합니다. 그러나 '5학년 학생에게 셀프 어텐션을 설명하라'처럼 결과가 주관적일 때는, 그 설명의 품질을 어떻게 재고 모델이 나아지고 있는지 어떻게 알 수 있을까요? 영상은 이 물음을 세 갈래의 평가 방식으로 풀어냅니다.

첫 번째는 참조 기반 평가입니다. 정답에 해당하는 참조 결과가 있을 때 유용하며 요약·기계 번역에서 널리 쓰입니다. 가장 오래된 BLEU와 ROUGE는 참조와 후보 문장의 n그램이 얼마나 겹치는지만 봅니다. 표면적 일치만 따지기 때문에, 한 단어를 '코끼리'로 바꿔 의미가 무너져도 같은 점수가 나올 수 있습니다. 이를 보완해 인코더 언어 모델의 임베딩으로 의미 유사도를 재는 BERTScore, 사람이 두 문장을 얼마나 비슷하다고 볼지 예측하도록 회귀 모델을 학습시키는 COMET·BLEURT가 등장했습니다.

두 번째는 인간을 평가자로 쓰는 방식입니다. 결과물의 품질을 매기게 하거나, 점점 인기를 끄는 방식으로 두 응답을 나란히 보여 주고 더 나은 쪽을 고르게 합니다. 오픈소스 버전이 LMSYS 챗봇 아레나로, 같은 질문을 무작위 두 모델에 보내 사용자가 선호를 고르면 수백만 건을 종합해 체스 ELO처럼 순위를 산출합니다. 다만 사람은 완벽한 평가자가 아니어서, 제목·굵은 글씨·이모지가 많은 답을 내용과 무관하게 선호하는 경향이 있습니다. 그래서 연구진은 출력 길이·서식·이모지 같은 표면 속성을 회귀 모델로 분리하는 '스타일 통제'를 씁니다.

세 번째는 LLM을 심사위원으로 삼는 방식입니다. 한 모델의 출력을 다른 모델에 넣어 점수를 매기게 해 사람 채점을 대신합니다. 두 출력 중 선호를 고르게 하거나, 유용성·관련성·정확성·깊이·창의성 같은 기준으로 평가하도록 요청할 수 있습니다. 신뢰도는 주석자 간 일치도로 검증하는데, MT-Bench 논문에 따르면 사람끼리는 평균 81% 일치한 반면 GPT-4는 사람과 85% 일치했습니다. 즉 LLM-사람 상관이 무작위로 뽑은 두 사람의 상관보다 높다는 뜻입니다.

그렇다고 LLM 심사위원이 완벽한 것은 아닙니다. 답이 길수록 높게 주는 길이 편향, 먼저 제시된 답을 선호하는 위치 편향, 자기 모델의 답을 후하게 평가하는 자기선호 편향이 있어 인간 평가의 스타일 통제와 비슷하게 보정해야 합니다. 비용은 들지만 대개 사람보다 저렴하고, 여러 동등한 표현이 가능한 수학 단답형처럼 고정된 규칙으로 채점하기 힘든 문제에도 활용할 수 있습니다.

주요 인사이트

• BLEU 같은 표면 일치 지표는 단어를 '코끼리'로 바꿔 의미가 무너져도 같은 점수를 줄 수 있어, 미묘한 차이를 구분하지 못한다.
• 사람조차 완벽한 평가자가 아니며, 서식·길이 같은 표면적 요소에 휘둘려 내용과 무관하게 더 보기 좋은 답을 고르는 경향이 있다.
• 스타일을 통제해 형식 효과를 걷어내면 어떤 모델은 순위가 오르고 다른 모델은 내려간다 — 승부가 내용이 아니라 형식에서 갈렸다는 신호다.
• LLM 심사위원의 신뢰도는 'LLM-사람 일치도가 사람끼리의 일치도보다 높다'는 점으로 뒷받침되지만, 자기선호 등 편향은 반드시 보정해야 한다.
• 심사위원 LLM은 사람보다 저렴하고, 여러 정답 형태가 가능한 수학 단답형처럼 규칙으로 채점하기 어려운 문제에도 쓸 수 있다.

자주 묻는 질문

관련 AI 소식