AI 벤치마크는 무엇을 측정하나: 구성 타당도와 문항반응이론으로 다시 보는 AI 평가 과학

핵심 메시지

• 벤치마크는 모델 사이의 상대적 순위를 가리는 데는 꽤 안정적이지만, 배포 후 실제 성능 수치를 그대로 예측하지는 못한다.
• 실험실에서 0.001% 수준으로 드물게 나타나던 탈옥 성공도, 수많은 사용자가 반복해서 시도하는 배포 규모에서는 흔한 사건이 된다.
• 심리측정학은 1950년대에 비슷한 위기를 겪었고 '검사 자체가 아니라 그로부터 이끌어낸 추론을 타당화한다'는 결론에 도달했다.
• 문항반응이론으로 문항 난이도와 모델 능력을 분리하면, 적응형 문항 선택으로 평가 문항 수를 크게 줄이면서 같은 신호를 얻을 수 있다.
• 어떤 지표를 고르느냐는 중립적인 수학적 선택이 아니라 무엇을 정답으로 볼지에 대한 약속이며, 타당성 판단의 일부다.

쉽게 이해하기

AI 평가 프로그램의 공개 세미나에 연사로 나온 스탠퍼드대 산미 코예조 교수는 요즘 AI 평가가 겪는 문제를 '측정의 문제'로 다시 정의했다. 그는 자신의 연구팀이 상용 프론티어 모델들에서 이미 출간된 책의 본문을 상당량 끌어낼 수 있었던 사례를 먼저 소개했다. 여기서 사용한 기법은 대문자나 기호를 섞어 지시문을 조금씩 변형하는 고전적인 탈옥 방식이지만, 핵심은 그것을 한 번이 아니라 수십만 번 반복했다는 점이다.

이 사례가 보여주는 것은 평가 수치와 실제 위험의 간극이다. 실험실에서 측정한 성공률이 0.001% 수준으로 무시할 만해 보여도, 수백만 명이 쓰는 서비스에서는 드문 사건이 실제로 자주 발생한다. 동기가 강한 공격자 한 명이 시도 횟수를 늘리는 경우도 마찬가지다. 즉 배포 규모 자체가 시스템이 세상과 상호작용하는 방식을 바꿔 놓기 때문에, 실험실 벤치마크는 배포 시점에 무슨 일이 벌어질지 알려주지 못했다.

코예조 교수는 벤치마크 문화가 그동안 AI 발전의 강력한 엔진이었다는 점도 분명히 했다. 손글씨 숫자 인식 데이터셋에서 이미지넷으로, 다시 여러 과제를 묶은 언어 벤치마크와 MMLU로 이어지며 규모와 야심이 커졌다. 특히 2019년 버클리 연구진이 이미지넷의 라벨링 절차를 그대로 재현해 새 테스트셋을 만들었을 때, 정확도 수치는 20~30포인트가량 크게 떨어졌지만 모델 사이의 순위는 거의 그대로 유지됐다. 순위는 잘 재현되고 수치는 그렇지 않다는 이 결과가 벤치마크의 성격을 압축해 보여준다.

문제는 이제 우리가 벤치마크에 요구하는 것이 달라졌다는 데 있다. 예전에는 위험이 낮은 연구 내부 경쟁의 도구였지만, 지금은 배포 여부와 조달, 규제 문턱 같은 고위험 의사결정의 근거로 쓰인다. 학습 데이터가 공개되지 않아 벤치마크 문항이 학습에 섞였는지 확인하기 어렵고, 점수를 높이려는 동기도 훨씬 커졌다. 그는 이 상황을 구성 타당도, 외적 타당도, 결과 타당도라는 세 갈래로 나누어 짚었다. 대학원 수준 객관식 문제를 잘 푼다는 관찰에서 '대학원생 수준의 추론 능력'이라는 결론으로 건너뛰는 것이 대표적인 구성 타당도 실패다.

해법으로 그가 제시한 것은 평가를 통계적 추정 문제로 다루는 접근이다. 정답 비율을 단순 평균하는 대신 모델 능력, 문항 난이도, 문항 변별력을 각각의 모수로 두는 문항반응이론을 쓰면 난이도와 능력을 분리할 수 있다. 이렇게 하면 서로 겹치지 않는 문항 집합으로 평가된 모델들도 비교할 수 있고, 적응형으로 문항을 골라 평가 비용을 크게 줄일 수 있다. 그는 큰 모델을 만들 때 평가가 전체 비용의 4분의 1 가까이를 차지한다는 공개 연구소의 보고를 들며, 이 낭비를 줄이는 것 자체가 실용적인 과제라고 말했다.

주요 인사이트

• '포스트 벤치마크 시대'라는 표현에 대해 그는 신중한 입장을 보였다. 고정된 문항 집합을 고정된 환경으로 바꾸는 것만으로는 채점이 쉬운 쪽으로 과제가 다시 쏠릴 뿐, 핵심 문제인 타당성과 예측력은 그대로 남는다는 것이다.
• 게임 가능성은 결과 타당도의 문제다. 그는 동료들과 함께 쌍대 비교 기반의 인기 리더보드를 분석한 논문에서, 동기가 강한 참여자가 측정 과정을 유리하게 만들 여지가 있음을 보였다.
• 이른바 '창발 능력'도 지표 선택의 산물일 수 있다. 정확히 일치해야 정답으로 치는 지표를 쓰면 능력이 갑자기 튀어나오는 것처럼 보이지만, 확률 기반의 부드러운 지표로 바꾸면 규모에 따라 매끄럽게 변하는 곡선이 나타난다.
• 예측에서 벗어나는 문항은 오히려 유용한 신호다. 쉬운 문항을 강한 모델이 틀리는 식의 이탈은 대개 채점 버그처럼 벤치마크 자체의 결함을 가리킨다. 7과 7.00을 다르게 채점하는 사례가 그 예다.
• 결국 그가 권하는 진술 형식은 '어떤 근거에 기반해, 어떤 조건 안에서, 어떤 기준을 충족했다. 추가 증거 없이는 그 이상의 구성 개념을 함의하지 않는다'는 식이다. 번거롭지만 현재 증거로 말할 수 있는 것을 정확히 담는다.

자주 묻는 질문

관련 AI 소식