LLM 벤치마크 평가법 IRT: 정답 수 세기의 한계와 문항반응이론 활용

핵심 메시지

• 지금의 LLM 벤치마크는 정답 개수를 세는 '고전검사이론'에 머물러 있으며, 모든 문항을 동일한 비중으로 취급하는 강한 가정을 깐다.
• 심리측정학의 문항반응이론(IRT)은 각 문항의 난이도(B)와 변별력(A), 각 모델의 지능 수준(theta)을 함께 추정해 더 정밀한 평가를 제공한다.
• 정답 수가 245개 대 247개로 거의 같아 보여도, IRT로 보면 두 모델의 지능 차이가 약 1 표준편차에 이를 수 있다.
• IRT는 벤치마크 문항 감사, 크기 축소, 오염·과적합 탐지, 벤치마크 보호, 문항 편향 분석, 모델 계보 추정 등 다양한 응용으로 이어진다.

쉽게 이해하기

심리학과 컴퓨터과학을 배경으로 한 Mind Makers 창업자 알레한드로 비달은 AI Engineer 강연에서, 현재 LLM 평가가 '정답 개수 세기'에 갇혀 있다고 지적한다. 이 방식은 고전검사이론(classical test theory)에 해당하며, 모든 문항이 똑같이 중요하다고 가정한다. 하지만 실제로는 더 어렵거나 더 중요한 문항이 있고, 잘못 라벨링된 문항도 있어 이 가정은 무리가 있다.

대안으로 그는 IQ 검사 등에서 쓰이는 문항반응이론(Item Response Theory, IRT)을 제안한다. 각 문항을 개별 변수로 놓고, 문항마다 난이도 B와 변별력(기울기) A를 추정한다. 문항은 모델의 지능(theta)을 정답 확률로 매핑하는 곡선으로 표현되며, B는 정답 확률이 50%가 되는 지점이다. 여러 문항의 곡선을 합쳐 각 모델의 지능 분포와 신뢰구간(가능도 구간)을 얻는다.

실제 데이터(epoch.ai)를 쓴 예시에서 Claude Opus 4.1은 정답 245개, Gemini 3 Pro는 247개로 337문항 기준 차이가 미미하다. 그러나 IRT로 분석하면 두 모델의 지능 차이는 거의 1 표준편차에 이른다. 정답 개수가 비슷해도 어려운 문항을 맞힌 모델과 쉬운 문항만 맞힌 모델의 실제 실력은 다르기 때문이다.

강연은 IRT의 여러 응용을 소개한다. 문항 감사에서는 변별력이 음수인 문항(더 좋은 모델이 오히려 틀리는 문항)을 찾아 오라벨을 잡아낸다. 예로 '승객 수'를 물었는데 정답이 승객+승무원 합계(583)로 잘못 매겨진 사례가 있었다. 벤치마크 크기 축소에서는 변별력이 높은 문항부터 고르면 484문항 중 약 97문항만으로 원래 순위와 99% 상관을 유지해 약 5배 작은 벤치마크를 만들 수 있다(무작위 선택은 훨씬 나쁨).

그 밖에도 잔차(예측과 실제의 차이)를 이용해 이상치·정보 유출·과적합을 탐지하고, 대표 문항으로 구성한 앵커 세트와 조직별 '지문(fingerprint)' 세트를 활용한 적응형 검사로 벤치마크를 보호한다. 오픈웨이트 대 클로즈드웨이트처럼 그룹을 나눠 문항 편향을 조사하고, 잔차 패턴으로 모델의 '지문'을 만들어 같은 계보나 증류(distillation) 관계를 추정하기도 한다.

주요 인사이트

• 정답 개수 합산은 '모든 문항이 동등하다'는 가정을 깔기 때문에, 잘 보정되지 않은 벤치마크에서는 실력이 더 낮은 모델이 더 많이 맞히는 착시가 생길 수 있다.
• IRT는 문항 난이도·변별력과 모델 지능을 함께 추정해 점 추정치뿐 아니라 신뢰구간까지 제공하므로, 비교 기준 모델 없이도 절대적 해석이 가능해진다.
• 변별력 기준으로 문항을 고르면 벤치마크를 몇 배씩 줄여도 순위가 거의 유지되어 평가 비용과 토큰을 크게 아낄 수 있다. 다만 GPQA처럼 잘 설계된 벤치마크는 문항이 서로 겹치지 않아 축소 효과가 작다.
• 잔차와 문항 특성은 벤치마크 오염·유출·양자화 오류 같은 문제를 진단하는 새로운 도구가 되며, 다차원·계층 모델로 확장하면 과제별 세부 능력까지 분리해 볼 수 있다.

자주 묻는 질문

관련 AI 소식