AI 벤치마크의 함정: 객관식 평가 대신 정답 대조와 장기 과제 측정이 필요한 이유

핵심 메시지

• 인기 벤치마크의 객관식 문항은 문제를 가린 채 보기만 보고도 상당수를 맞힐 수 있어, 실제 능력이 아니라 보기 구별 능력을 재고 있다.
• 보기를 없애고 모델의 자유 서술 답변을 기준 정답과 대조하는 '정답 대조' 방식은 사람 채점자와의 일치도가 훨씬 높았고 비용도 더 쌌다.
• GPQA 다이아몬드 같은 벤치마크의 '포화'는 객관식 형식이 만들어낸 착시이며, 자유 서술로 바꾸면 점수와 모델 순위가 달라진다.
• 한 단계의 정확도가 조금만 올라도 모델이 끝까지 해내는 과제의 길이는 기하급수적으로 늘어난다.
• 긴 과제에서 모델이 실패하는 원인은 계획을 못 세워서가 아니라, 뻔한 계획을 끝까지 실행하지 못해서인 경우가 많다.

쉽게 이해하기

AI가 얼마나 발전하고 있는지를 두고 정반대 주장이 동시에 나온다. 수익 체감에 도달했다는 진단이 있는가 하면, 모델이 처리할 수 있는 과제 길이는 출시할 때마다 계속 길어지고 있다는 측정도 있다. 발표자는 이 혼란이 관측 도구, 즉 평가 방식의 문제에서 비롯된다고 본다.

평가가 중요한 이유는 그것이 연구 방향 자체를 끌고 가기 때문이다. ImageNet 점수가 한 시대를 지배했고, 그다음에는 MMLU 점수가 모델 발표의 헤드라인이었으며, 최근에는 코딩 과제 벤치마크가 그 자리를 차지했다. 안정적으로 측정할 수 있는 능력은 곧 최적화 대상이 되기 때문에, 잘못 재면 잘못된 방향으로 최적화된다.

발표자는 객관식 문항의 구조적 결함을 실험으로 보여준다. 문제를 통째로 가리고 보기만 준 뒤 작은 모델의 임베딩 위에 단순한 분류기를 학습시켰더니, 여러 유명 벤치마크에서 우연히 맞힐 확률을 크게 웃도는 정확도가 나왔다. 이미지와 질문을 모두 가린 멀티모달 벤치마크에서도 50%를 넘겼다. 객관식은 '답을 아는가'가 아니라 '정답 보기를 오답 보기와 구별할 수 있는가'라는 다른 문제를 재고 있었던 셈이다.

역설적인 대목은 벤치마크를 개선하려던 시도들이 오히려 지름길을 늘렸다는 점이다. 언어모델로 오답 보기를 자동 생성하거나 보기 수를 늘려 난이도를 높인 최신 버전들에서, 문제를 보지 않고 맞힐 수 있는 비율이 원본보다 더 높아졌다. 대안으로 제시된 것은 보기를 주지 않고 받은 자유 서술 답변을 기준 정답과 대조하게 하는 방식이다. 채점 모델은 어려운 검증 대신 표현이 달라도 같은 답인지 판별하는 쉬운 문제만 풀면 되므로, 값싼 공개 가중치 모델로도 사람 채점자들 사이의 일치도에 근접했다.

발표 후반부는 과제의 '길이'로 넘어간다. 토큰마다 일정한 오류율이 쌓이므로 긴 과제일수록 실패 확률이 급증한다는 비관론을 뒤집어, 같은 가정 아래에서도 한 단계 정확도의 작은 개선이 완주 가능한 과제 길이에서는 기하급수적 증가로 증폭된다는 것이다. 이를 확인하기 위해 연구진은 값을 모두 제공하고 누적 합만 유지하게 하는 극단적으로 단순한 과제를 설계했다. 한 단계 정확도는 모델 크기와 무관하게 거의 완벽했지만, 유지할 수 있는 단계 수는 모델이 커질수록 꺾이지 않고 늘어났다.

주요 인사이트

• 벤치마크 점수가 오르지 않는 것과 능력이 늘지 않는 것은 다른 문제다. 단기 과제 정확도 2% 개선이 100건 규모의 연속 작업에서는 훨씬 큰 성공률 차이로 나타난다.
• 평가 도구를 고칠 때는 '더 어렵게'가 아니라 '지름길이 없는가'를 먼저 봐야 한다. 자동 생성으로 난이도를 올린 벤치마크들이 오히려 지름길을 키웠다.
• 채점을 언어모델에 맡기면 비싸다는 통념과 달리, 객관식은 모델이 보기를 두고 장황하게 따지느라 출력 토큰이 늘어 오히려 비용이 더 들었다.
• 긴 과제의 병목은 추론이 아니라 실행일 수 있다. 계획을 전부 알려줘도 단계가 길어지면 정확도가 무너지는 현상이 관찰됐다.
• 모델 평가의 결함은 사람 평가의 결함을 그대로 물려받은 것이다. 표준화된 객관식 시험으로 사람을 줄 세우는 방식 역시 같은 한계를 안고 있다.

자주 묻는 질문

관련 AI 소식