LLM 벤치마크 평가에 심리측정학(IRT) 적용하기: 문항 난이도와 모델 능력 분리

핵심 메시지

• 벤치마크 점수를 하나의 정확도 숫자로 합치면 '모든 문항의 가치가 같다'는 무리한 가정을 하게 된다.
• 인간 지능 측정에 쓰이는 심리측정학의 문항반응이론(IRT)을 LLM 평가에 그대로 옮겨올 수 있다.
• IRT는 각 문항의 난이도(B)·변별도(A)와 각 모델의 능력(theta)을 따로 추정해, 같은 점수라도 실제 능력 차이를 드러낸다.
• 이 틀로 벤치마크 감사, 문항 유출 탐지, 모델 증류·계보 추적까지 가능하다.

쉽게 이해하기

발표자는 인간의 지능과 성향을 측정하는 심리학 분야인 '심리측정학'의 아이디어를 대규모 언어모델(LLM) 평가에 적용하자고 제안한다. 지금까지 우리는 모델 하나를 평가할 때 벤치마크에서 맞힌 문항 수, 즉 정확도라는 숫자 하나로 요약해 왔다. 그러나 문항별로 쪼개 보면 이 방식은 '모든 문항이 똑같은 무게를 가진다'는 강한 가정을 깔고 있다. 어떤 문항은 서로 상관되어 있고, 어떤 문항은 사실상 잡음이며, 어떤 문항은 훨씬 더 중요할 수 있는데도 그 차이를 전혀 모델링하지 않는다.

대안으로 제시하는 것이 문항반응이론(IRT) 모델링이다. 점수를 단순히 더하는 대신 정답/오답 행렬 전체를 유지하면서, 각 문항에 대해서는 난이도 B를, 각 모델에 대해서는 능력치 theta를 추정한다. theta는 B와 같은 척도 위에 있고 정규분포를 따르기 때문에 해석이 쉽다. 여기에 문항의 '변별도' A(곡선의 기울기)를 함께 추정하는데, 기울기가 가파른 문항일수록 정보량이 크고, 평평한 문항은 잡음에 가깝다.

이 틀의 강력한 점은 같은 벤치마크 점수를 받은 두 모델이라도 실제 답안 패턴을 반영해 서로 다른 능력치를 추정할 수 있다는 것이다. 발표에서는 같은 점수를 받은 두 모델이 표준편차 한 단위만큼 벌어진 theta를 갖는 사례가 등장한다. 게다가 IRT는 추정치에 대한 신뢰구간을 자연스럽게 제공한다.

실용적 응용은 벤치마크 감사에서 시작한다. 변별도 A가 음수인 문항은 좋은 모델이 오히려 틀리는 이상한 문항으로, 정답 라벨이 잘못되었거나 오류가 있는 경우가 많다. 실제 데이터셋에서 '정답'이 틀린 문항을 이렇게 찾아낼 수 있다. 또한 'Tiny Benchmarks' 논문의 아이디어처럼 정보량이 큰 문항부터 골라 벤치마크를 축소하면서도 원래 추정치와 99% 상관을 유지할 수 있어, 사내 비공개 벤치마크를 여러 모델·하네스·파인튜닝에 반복 적용할 때 비용을 크게 줄인다.

더 나아가 잔차(residual)와 이상치를 이용하면 특정 문항이 인터넷에 유출됐는지, 특정 조직이 데이터를 흘리고 있는지까지 추적할 수 있다. 조직마다 서로 다른 '지문(fingerprint)' 문항 세트를 배정하는 적응형 테스트로 유출 출처를 좁히고, 잔차 상관 행렬로는 어떤 모델이 같은 베이스에서 증류됐는지(예: 같은 체크포인트에서 나온 두 증류 모델, 세대가 다른 후속 모델)를 답안 자체보다 강한 신호로 판별한다.

주요 인사이트

• 정확도라는 단일 숫자는 편리하지만, 문항 간 상관·잡음·중요도 차이를 지워 버리는 강한 가정을 숨기고 있다.
• 문항 난이도(B)와 모델 능력(theta)을 같은 척도에 놓으면 '같은 점수, 다른 실력'을 정량적으로 구분할 수 있다.
• 변별도 A가 음수인 문항은 라벨 오류의 강력한 신호다 — 좋은 모델이 틀리는 문항을 의심하라.
• 정보량 기준으로 문항을 골라내면 벤치마크를 대폭 줄이면서도 순위 신뢰도를 유지할 수 있다.
• 잔차 패턴은 데이터 유출·불안정한 추론·모델 증류 계보를 드러내는 '지문' 역할을 한다.

자주 묻는 질문

관련 AI 소식