AI 채점 정확도 35~65%, 케임브리지 연구팀이 학부생 에세이 761편으로 검증한 자동 채점의 한계

핵심 메시지

• AI가 매긴 학점 구간이 사람 채점자와 일치한 비율은 35~65%로, 기관에 따라 거의 두 배 차이가 났다.
• 같은 에세이를 닷새 뒤 다시 채점시켰을 때 Gemini와 Claude는 사실상 동일한 점수를 냈고, 서로 다른 회사의 모델끼리도 매우 잘 일치했다.
• AI 점수는 글의 길이·어휘 다양성·문장 복잡도와 모두 유의한 관계를 보였지만, 사람 채점자의 점수는 이 값들과 거의 무관했다.
• AI는 점수를 분포의 가운데로 모아 잘 쓴 답안은 깎고 못 쓴 답안은 올려, 등급 경계에서 가장 부정확했다.
• 연구팀과 초점집단 모두 AI 단독 채점에 반대했고, 최종 점수는 사람이 정해야 한다고 결론지었다.

쉽게 이해하기

이 영상은 'AI가 쓴 글을 잡아낼 수 있는가'라는 그동안의 질문을 뒤집어, 채점하는 쪽이 AI일 때 무엇이 벌어지는지를 다룬다. 케임브리지 대학이 이끈 연구팀은 영국 대학 세 곳의 심리학 학부생 125명이 실제 시험에서 제출한 에세이 761편을 대상으로 삼았다. 연구용으로 따로 매긴 점수가 아니라 그 시험의 공식 점수를 정답지로 썼다는 점이 설계의 핵심이다.

시험한 모델은 Gemini 3 Flash, GPT-5.4, Claude Opus 4.6이었다. 연구팀은 프롬프트를 여러 방식으로 바꿔 시험한 뒤 가장 성적이 좋았던 전략의 결과를 보고했다. 불리한 조건을 만들어 놓고 못한다고 결론 내리는 방식이 아니라는 뜻이다. 그렇게 해도 AI가 매긴 학점 구간이 사람과 일치한 비율은 35~65%에 머물렀다.

대학별로는 케임브리지 63%, 노팅엄 53%, 맨체스터 메트로폴리탄 35%로 갈렸다. 같은 모델에 같은 프롬프트인데 기관에 따라 성능이 거의 두 배 차이 난 것이다. 학생 구성과 문제, 점수 분포가 다르면 결과도 달라지므로, 다른 학교에서 나온 성능 수치를 그대로 우리 기관에 가져올 수 없다는 것이 연구팀의 첫 번째 권고다.

영상은 정확도가 이 보고서에서 가장 나쁜 소식이 아니라고 짚는다. 같은 에세이를 닷새에 걸쳐 다시 채점시키자 Gemini와 Claude는 일치도 1.00으로 사실상 같은 점수를 재현했고, GPT-5.4도 0.97이었다. 모델 쌍 간 일치도는 모두 0.74를 넘었고 세 모델을 합치면 0.91이었다. 만든 회사가 다른데도 AI들은 사람보다 서로를 더 닮았다.

편향은 두 방향으로 나타났다. 하나는 중심 경향으로, 사람이 75점을 준 답안은 낮게, 50점을 준 답안은 높게 매겨 점수 폭이 0.47~0.82 수준으로 압축됐다. 다른 하나는 글의 형태에 반응하는 것이다. 길이, 어휘 다양성, 문장 복잡도, 아이디어 연결 정도 네 범주 모두가 AI 점수를 유의하게 예측했지만 사람 점수는 그렇지 않았고, 가장 강한 신호는 어휘 다양성이었다.

주요 인사이트

• 가장 위험한 조합은 낮은 정확도 그 자체가 아니라 낮은 정확도와 높은 일관성이 함께 있는 상태다. 흔들리지 않는 오답은 오답처럼 보이지 않기 때문이다.
• AI는 분포의 가운데에 있는 무난한 답안을 무난하게 매기는 데 능하고, 1등급과 2등급을 가르거나 통과와 낙제를 가르는 경계처럼 판정이 가장 중요한 자리에서 가장 부정확했다.
• 여러 모델의 점수를 평균 내는 방식으로는 이 문제가 해결되지 않는다. 방향이 정해진 편향은 앙상블에서도 상쇄되지 않고 그대로 남았다.
• AI 피드백은 사람보다 3~8배 길었는데, 길이를 사람 피드백과 똑같이 맞추자 어느 쪽이 사람이 썼는지 구분하기 어려워졌다. 우리가 'AI 같다'고 느끼는 단서가 내용이 아니라 길이였을 수 있다.
• AI로 다듬은 글이 AI 채점에서 유리할 것이라는 추측은 두 연구의 목록이 겹친다는 사실에 근거한 추론일 뿐이며, 이를 직접 확인한 실험은 아직 없다고 영상은 분명히 선을 긋는다.

자주 묻는 질문

관련 AI 소식