유동적 벤치마킹: 문항반응이론으로 LLM 평가의 잡음·비용·포화 문제를 줄이는 방법
앨런AI연구소 연구진이 GRE·SAT 같은 시험이 쓰는 문항반응이론을 LLM 벤치마크에 적용했다. 모델 실력에 맞춰 문항을 골라 가는 유동적 벤치마킹은 50문항만으로 무작위 500문항보다 나은 평가 품질을 냈다고 한다.
핵심 내용 읽기 →
AI TOPIC
문항반응이론 최신 뉴스와 핵심 해설
문항반응이론 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
LLM 벤치마크 평가법 IRT: 정답 수 세기의 한계와 문항반응이론 활용
정답 개수만 세는 LLM 벤치마크의 한계를 심리측정학의 문항반응이론(IRT)으로 넘어서는 방법. 문항 난이도·변별력·모델 지능을 함께 추정해 평가를 정교하게 만든다.
핵심 내용 읽기 →
LLM 벤치마크 평가에 심리측정학(IRT) 적용하기: 문항 난이도와 모델 능력 분리
단일 정확도 대신 심리측정학의 문항반응이론(IRT)으로 LLM을 평가하는 방법. 문항 난이도·변별도와 모델 능력을 따로 추정해 벤치마크 감사, 데이터 유출 탐지, 모델 증류 여부까지 밝혀낸다.
핵심 내용 읽기 →