LLM 평가 벤치마크 정리: 퍼플렉시티·MMLU·챗봇 아레나·에이전트 벤치마크와 리더보드 착시

핵심 메시지

• 평가 지표는 단순한 성적표가 아니라 만들려는 모델의 지향점이라, 잘못 설계하면 개발 방향 전체를 잘못된 곳으로 끌고 간다.
• MMLU·GPQA 같은 지식 시험형 벤치마크는 대부분 포화 상태에 접어들어, 라벨 오류를 감안하면 1퍼센트포인트 차이를 논하는 것이 의미를 잃었다.
• 챗봇 아레나식 사람 선호 평가는 실사용에 가깝지만, 참여자 편향과 '선호'라는 개념 자체의 모호함, 아첨을 보상하는 문제를 안고 있다.
• 학습 데이터에 벤치마크가 섞여 들어가는 오염 때문에, 요즘은 계속 새 문제를 만들거나 비공개 평가 환경을 쓰는 쪽으로 대응이 옮겨가고 있다.
• 굿하트의 법칙처럼 지표가 목표가 되는 순간 벤치마크 점수와 실제 쓸모는 갈라지며, 이것이 '리더보드 착시'의 본질이다.

쉽게 이해하기

대학 LLM 강의의 열한 번째 회차는 학습이 아니라 평가를 다룬다. 강연자는 지금까지 배운 아키텍처·병렬화·추론이 모두 '어떻게 학습할 것인가'였다면, 평가는 '어떤 모델을 만들고 싶은가'를 구체적인 수치로 정의하는 작업이라고 정리한다. 그래서 평가 설계는 결과를 재는 자가 아니라 개발이 향할 목표점이 된다. 잘 만든 평가는 후속 연구를 좋은 방향으로 끌고 가지만, 그럴듯해 보이지만 잘못 설계된 평가는 그것을 추종하는 개발 전체를 엉뚱한 곳으로 이끈다.

가장 기계적인 지표는 퍼플렉시티다. 모델이 만든 확률 분포로 로그 우도를 구하고 문장 길이로 정규화한 뒤 지수를 취하면, 다음 토큰을 몇 개의 후보 중에서 고르는 정도로 헷갈려하는지를 읽을 수 있다. 예를 들어 정규화된 로그 우도가 -4라면 정답 토큰이 나올 확률은 약 1.8퍼센트이고, 퍼플렉시티는 54 남짓이 된다. 과거에는 표준 말뭉치를 학습·테스트로 나눠 이 값을 리포트했지만, GPT-2 이후로는 별도 학습 없이 제로샷으로 여러 벤치마크를 측정하는 방식으로 관행이 바뀌었다. 그럼에도 퍼플렉시티가 살아남은 이유는 곡선이 매끄러워 스케일링 법칙을 맞추기 좋고, 태스크를 가리지 않는 보편적 지표이기 때문이다.

요즘 더 자주 인용되는 것은 시험 형태의 지식 벤치마크다. 약 60개 주제의 사지선다로 구성된 MMLU, 선택지를 열 개로 늘리고 사고 사슬을 유도하도록 다듬은 MMLU-Pro, 박사급 인력이 직접 출제해 전문가도 60~70퍼센트대에 머무르는 GPQA, 상금까지 걸어 인류 최고 난도 문제를 모은 휴머니티스 라스트 이그잼이 차례로 등장했다. 강연자는 이런 벤치마크가 널리 쓰이는 이유를 '채점이 쉬워서'라고 잘라 말한다. 동시에 이름과 달리 언어 이해보다는 지식 보유량을 재는 성격이 강하고, 라벨 자체가 틀린 문항이 섞여 있어 만점을 기준선으로 잡을 수 없다는 한계도 함께 지적한다.

정답이 정해지지 않은 실제 사용 상황을 재기 위한 접근은 크게 셋이다. 사람이 두 응답 중 하나를 고르게 해 일종의 엘로 랭킹을 매기는 챗봇 아레나 방식, 형식 제약을 규칙으로 검증하는 IFEval 같은 자동 채점 방식, 그리고 알파카이밸·와일드벤치처럼 다른 모델을 심판으로 세우는 방식이다. 각각 장단이 뚜렷하다. 아레나는 실사용을 그대로 모사하고 모델을 계속 추가할 수 있는 살아 있는 지표지만 참여자 대부분이 개발자·연구자라 편향이 끼고, 길이나 스타일 같은 요소가 '선호'에 섞여 들어가며, 아첨을 잘하는 모델이 높은 점수를 받을 여지가 있다. LLM 심판은 긴 응답을 선호하는 편향 탓에 점수를 해킹당할 수 있어, 체크리스트 형태의 루브릭을 붙여 신뢰도를 보완한다.

최근 무게중심은 에이전트와 추론 쪽으로 옮겨가고 있다. SWE-bench는 코드베이스와 이슈 설명을 주고 만들어진 패치가 유닛 테스트를 통과하는지로 자동 채점하고, 터미널 벤치는 도커 컨테이너 안에서 터미널 작업을 시킨 뒤 최종 상태를 검증한다. 여기서 측정되는 것은 모델 하나가 아니라 도구 연결과 스캐폴딩까지 포함한 시스템 전체다. 순수한 추론 능력을 지식과 분리해 재려는 ARC 계열은 사람이 거의 다 푸는 문제를 모델이 어디까지 따라오는지 보여주는데, 세대가 올라갈수록 다시 바닥으로 떨어지는 패턴이 반복된다. 마지막으로 강연자는 오염과 벤치마크 치팅 사례를 들며, 지표를 직접 최적화할수록 점수와 실제 쓸모가 벌어지는 굿하트의 법칙을 '리더보드 착시'라는 말로 요약한다.

주요 인사이트

• 퍼플렉시티가 계속 쓰이는 진짜 이유는 절대적 정확도가 아니라 곡선의 매끄러움이다. 정확도는 들쭉날쭉해 스케일링 법칙을 맞추기 어렵지만 퍼플렉시티는 안정적으로 떨어져 학습 계획을 세우는 데 쓸 수 있다.
• 시험형 벤치마크에서 100퍼센트는 목표가 될 수 없다. 크라우드소싱으로 만든 데이터셋에는 정답 자체가 잘못 붙은 문항이 섞여 있어, 일정 수준을 넘으면 사실상 만점으로 취급하는 것이 관행이다.
• 선호도 기반 평가의 근본 난점은 '선호'가 정의되지 않았다는 데 있다. 정답 여부를 중시하는 사람과 시도의 성실함이나 응답 길이를 중시하는 사람이 같은 버튼을 누르므로, 스타일과 정확성이 한 점수에 뒤섞인다.
• 오염 대응책 중 실행 가능한 쪽은 모델 제공자에게 기대는 방식이 아니라 평가자가 직접 움직이는 방식이다. 매주·매달 새 문제를 만드는 라이브 벤치마크나, 웹에 공개하지 않는 비공개 평가 환경이 여기에 해당한다.
• 벤치마크 점수보다 자기 업무에 맞춰 만든 사적 평가 세트가 실전에서는 더 쓸모 있다. 실제로 중요한 것은 리더보드 순위가 아니라 내 코딩 작업에 어떤 모델을 쓸 것인가이기 때문이다.

자주 묻는 질문

관련 AI 소식