유동적 벤치마킹: 문항반응이론으로 LLM 평가의 잡음·비용·포화 문제를 줄이는 방법

핵심 메시지

• 지금의 LLM 벤치마크는 잘못 채점된 정답 라벨, 큰 평가 비용, 성능이 천장에 닿는 포화라는 세 가지 문제를 함께 안고 있다.
• 연구진은 GRE·SAT 같은 표준화 시험이 쓰는 문항반응이론을 가져와, 각 문항의 난이도와 변별도를 모델 응답 패턴으로 추정했다.
• 유동적 벤치마킹은 모델이 문항을 맞히고 틀릴 때마다 능력 추정치를 갱신하고, 그 능력에 가장 정보량이 큰 다음 문항을 골라 이어 간다.
• 그 결과 50문항으로 무작위 500문항보다 나은 평가 품질을 얻었고, 잘못 라벨링된 문항을 만날 확률은 99% 넘게 줄었다.
• 정확도가 더 이상 오르지 않는 학습 후반에도 능력 추정치는 계속 올라, 사전학습 중 진척을 읽는 신호로 쓸 수 있었다.

쉽게 이해하기

앨런AI연구소와 워싱턴대의 발렌틴 호프만(Valentin Hofmann) 연구원이 온라인 강연에서 자신의 논문 '유동적 언어모델 벤치마킹'을 소개했다. 발표는 벤치마크가 실제로 쓰이는 세 가지 용도를 먼저 정리한다. 순위표를 만드는 일, 모델을 공개할 때 성능을 알리는 일, 그리고 학습 데이터 구성과 하이퍼파라미터를 정할 때 방향을 잡는 나침반 역할이다. 문제는 이 세 용도 모두가 지금의 벤치마크가 안고 있는 결함에 취약하다는 점이다.

첫 번째 결함은 라벨 잡음이다. 가장 널리 쓰이는 객관식 벤치마크에서도 정답으로 표시된 선택지가 실제로는 틀린 경우가 적지 않다. 발표에서는 어떤 하위 분야에서는 절반 넘는 문항의 정답 라벨이 잘못됐다는 분석이 인용됐다. 두 번째는 비용이다. 대형 평가 모음을 모델 하나에 한 번 돌리는 데 1만 달러가 넘게 든 사례가 보고돼 있어, 사전학습 도중 반복 평가는 부담이 된다. 세 번째는 포화로, 상당수 벤치마크는 이미 사람 수준으로 여겨지던 점수를 넘어섰다.

해법의 실마리는 교육 평가에서 왔다. 시험 시간이 제한된 탓에 문항을 무한정 낼 수 없다는 사정은 교육 쪽도 똑같았고, 심리측정 분야는 이를 문항반응이론으로 다뤄 왔다. 각 문항은 두 개의 값으로 표현된다. 난이도는 그 문항을 절반의 확률로 맞히려면 어느 정도 능력이 필요한지를 나타내고, 변별도는 실력이 좋은 응시자와 그렇지 않은 응시자를 얼마나 날카롭게 갈라내는지를 뜻한다. 연구진은 공개 순위표에 쌓인 기존 평가 결과에서 모델 100개 분량을 추려 이 값들을 추정했다.

변별도라는 지표는 뜻밖의 부수 효과를 낸다. 정답 라벨이 잘못된 문항은 아무리 좋은 모델이라도 맞히기 어렵고 나쁜 모델이 우연히 맞히기도 해서, 능력과 정답 여부의 관계가 흐릿해진다. 즉 변별도가 낮게 나온다. 실제로 사람이 일일이 검수해 오류를 표시해 둔 벤치마크에서 오류 문항들은 변별도가 뚜렷하게 낮았다. 사람 검수자를 고용하지 않고도 변별도가 낮은 하위 몇 퍼센트를 걷어내는 것만으로 상당수 오류 문항을 제거할 수 있다는 뜻이다.

유동적 벤치마킹은 여기서 한 발 더 나간다. 앞선 연구들이 문항 분석 결과로 '좋은 문항만 남긴 고정된 문제집'을 만들었다면, 이 방법은 평가 도중 문제집을 계속 바꾼다. 항상 같은 중간 난이도 문항으로 시작해 정오답에 따라 능력을 추정하고, 그 시점의 능력에서 정보량이 가장 큰 문항을 다음으로 고른다. 선택 기준에 변별도가 제곱으로 들어가기 때문에 품질이 낮은 문항은 사실상 뽑히지 않고, 난이도는 현재 능력 근처로 모인다. 서로 다른 모델이 서로 다른 문항을 풀게 되지만, 능력이라는 공통 척도로 추정되므로 비교는 그대로 가능하다.

주요 인사이트

• 정확도라는 지표는 모든 문항을 동등하게 취급한다. 문항반응이론은 변별도가 높은 문항을 맞히는 쪽에 더 큰 가중치를 줘, 같은 50% 정답률이라도 서로 다른 능력값으로 구분한다.
• 평가 품질과 효율은 맞바꿔야 하는 관계가 아니다. 문항 수를 줄일수록 기존 방식은 급격히 나빠지지만 적응형 방식은 완만하게 떨어져, 50문항으로 500문항을 앞서는 결과가 나왔다.
• 적응형 평가는 나쁜 문항을 자연스럽게 피해 간다. 잘못 라벨링된 문항은 정보량 기준에서 뒤로 밀려나, 평가가 끝날 때까지 아예 등장하지 않는 경우가 많다.
• 사전학습 후반의 '진척이 멈춘 것처럼 보이는' 구간은 지표의 착시일 수 있다. 정확도가 정체돼도 모델이 더 어려운 문항을 풀기 시작하면 능력 추정치는 계속 오른다.
• 이 접근의 한계도 분명하다. 문항 난이도는 어느 시점의 모델 집단을 기준으로 추정한 값이라, 더 강한 모델이 등장하면 '아무도 못 풀던 문항'들의 난이도 구분이 다시 필요해진다.

자주 묻는 질문

관련 AI 소식