LLM 벤치마크 완전 해설: MMLU·GPQA·SWE-Bench와 모델 선택법

핵심 메시지

• 최상위 LLM들의 MMLU 점수는 89~92%로 거의 같아, 점수 1~2% 차이로 우열을 가리는 것은 의미가 없다.
• 하나의 벤치마크만 믿거나 점수가 높을수록 좋다고 단정하는 것, 데이터 오염, 서로 다른 리더보드 혼동이 흔한 실수다.
• 평가 방식은 크게 전형적 벤치마크, 사람 평가(챗봇 아레나), 그리고 LLM이 LLM을 심사하는 방식 세 가지로 나뉜다.
• 벤치마크는 데이터 오염·포화·벤치마크 해킹 때문에 그대로 믿기 어렵다.
• 용도 정의 → 벤치마크로 후보 압축 → 아레나 확인 → 자기 데이터로 검증의 순서로 모델을 골라야 한다.

쉽게 이해하기

새 LLM이 나올 때마다 기업들은 '세계 최고 성능'을 내세우며 지표를 제시한다. 하지만 가장 널리 쓰이는 MMLU 점수를 보면 상위 모델들이 모두 89~92% 수준으로 거의 차이가 없다. 영상은 이런 1~2% 차이로 모델의 우열을 판단하는 것은 사실상 무의미하다고 지적한다.

발표자는 모델을 고를 때 사람들이 저지르는 네 가지 실수를 짚는다. 점수가 높으면 무조건 좋다고 보는 것, 단 하나의 벤치마크만 신뢰하는 것, 과거 평가용 데이터가 학습 데이터로 흘러들어가 점수가 부풀려지는 '데이터 오염', 그리고 용도가 다른 여러 리더보드를 뒤섞어 보는 것이다. 모델마다 추론·코딩·에이전트 작업 등 잘하는 분야가 달라, 자신의 용도에 맞는 벤치마크를 골라봐야 한다.

평가 기법은 크게 세 가지다. 첫째는 정해진 데이터셋으로 치르는 시험 같은 전형적 벤치마크(MMLU, MMLU Pro, SWE-Bench, GPQA, Frontier Math, Terminal Bench 등)이고, 둘째는 사람이 직접 답을 비교 투표하는 챗봇 아레나 방식, 셋째는 한 LLM이 다른 LLM의 답을 심사하는 'LLM 심사' 방식이다.

주요 지표를 보면 MMLU는 여러 분야의 일반 지식을 묻지만 대부분 모델이 92%에 도달해 사실상 포화 상태다. MMLU Pro는 더 어려운 버전이고, GPQA는 박사급 과학 문제, SWE-Bench는 실제 깃허브 이슈를 다루며, Frontier Math는 최고 난도다. 이 가운데 SWE-Bench, GPQA, Frontier Math는 아직 포화되지 않아 모델 간 차이를 드러낸다. 챗봇 아레나는 680만 표가 넘는 사람들의 실제 투표로 만들어져 조작이 어렵다는 점에서 신뢰도가 높다.

발표자는 이름을 외우기 어려운 지표들을 우리가 익숙한 시험에 빗댄다. MMLU는 누구나 통과하는 기초 시험, MMLU Pro는 조금 어려운 상급 시험, GPQA는 합격이 까다로운 시험, SWE-Bench는 인턴이 맡는 실무, 아레나는 취업 면접, Frontier Math는 최고 난도의 시험에 해당한다는 식이다.

주요 인사이트

• LLM이 다른 LLM을 심사하는 방식에는 단일 출력 채점, 두 답을 비교하는 쌍대 비교, 정답과 대조하는 레퍼런스 기반 채점이 있다.
• 심사 LLM에도 먼저 읽은 답을 선호하는 위치 편향, 장황한 답을 선호하는 편향, 자기 출력을 선호하는 자기선호 편향, 권위 편향 같은 성향이 있어 결과가 흔들릴 수 있다.
• 벤치마크가 '거짓말'하는 이유는 네 가지다. 평가 문제가 학습 데이터에 섞이는 데이터 오염, 모두 90점을 넘겨 변별력을 잃는 포화, 일반 능력이 아니라 벤치마크 통과만을 노린 학습(벤치마크 해킹), 그리고 주관적 편향 문제다.
• 사람 평가(챗봇 아레나)는 전반적으로 품질이 가장 좋고 조작이 어렵지만, LLM 심사는 빠르고 특정 용도에 유용하다는 장단점이 있다.
• 결국 좋은 선택은 3단계 접근이다. 벤치마크로 후보를 추리고, 아레나에서 사람 관점의 비교를 확인한 뒤, 자신의 실제 데이터로 직접 평가해 최종 결정한다.

자주 묻는 질문

관련 AI 소식