AI 자동 채점의 함정 — 부분 정답 구간에서 48개 결과 중 47개가 기준을 벗어난 이유

핵심 메시지

• AI 채점의 정확도를 전체 평균 하나로 보면 가장 중요한 문제가 가려진다. 점수 구간별로 쪼개야 비로소 드러난다.
• 완전히 맞은 답안과 완전히 틀린 답안에서는 예시 몇 개만 준 언어 모델도 사람 수준으로 정확했다.
• 부분적으로 맞은 4~7점 구간에서는 GPT 계열 설정 48개 결과 중 47개가 정답지와 두 범주 넘게 어긋났다.
• 이 열화의 깊이를 결정한 것은 모델의 세대가 아니라 과제 전용 데이터의 양이었다.
• 가장 부정확하게 채점되는 집단이 하필 개념을 절반쯤 익힌, 피드백이 가장 필요한 학생들이다.

쉽게 이해하기

이스라엘 바이츠만 연구소와 ETS 연구진이 올해 5월 공개한 논문을 다룬다. ETS는 토플과 GRE를 만드는 기관으로 채점을 업으로 하는 곳이다. 연구진이 던진 질문은 단순하다. 자동 채점의 정확도가 답안의 품질에 따라 달라지지는 않는가?

실험 문항은 고교 생물 서술형 두 개다. 둘 다 세포 호흡을 다루면서 흡연과 빈혈이 운동 능력에 어떤 영향을 주는지 설명하게 하는, 국가 수준 졸업 시험에 자주 나오는 유형이다. 채점 방식이 이 논문의 핵심 장치인데, 루브릭에 열 개의 범주를 두고 답안이 각 범주를 다뤘는지 하나씩 표시한다. 점수는 충족한 범주의 개수, 즉 0점에서 10점이 된다. 주관적인 평정이 아니라 세는 일에 가까워져 사람과 AI를 같은 자로 잴 수 있다.

데이터는 두 해 간격으로 두 차례 모았다. 1차는 전국 25개 고등학교 10~12학년 669명의 답안으로 모델을 가르치는 데 썼고, 2차는 152명이 쓴 304건으로 시험을 봤다. 기준이 되는 정답지 자체도 검증했다. 사람 채점자 두 명이 130건을 서로 상의 없이 채점했을 때 범주별 일치도가 0.89에서 0.98로, 사람끼리는 사실상 같게 봤다는 뜻이다.

비교 대상은 여섯 종류다. GPT-5.2, GPT-4o, 클로드 오퍼스 4.5를 예시 몇 개만 주는 방식으로 놓고, 여기에 미세조정한 BERT 모델과 사람 채점자를 더했다. 지표는 정답지와 몇 개 범주나 차이 나는가 하나뿐이다. 전체 평균만 보면 순서는 예상대로다. 사람이 가장 정확했고 그다음이 미세조정 모델, 마지막이 예시 몇 개만 준 언어 모델이었다.

흥미로운 건 점수 구간별로 쪼갠 다음부터다. 9~10점 구간에서는 예시를 두 개만 준 모델까지 포함해 모든 GPT 모델이 정답지와 한 범주 미만으로 붙었고, 두 문항 모두에서 미세조정 모델보다도 정확했다. 0~1점 구간도 거의 모든 경우 한 범주 미만이었다. 그런데 4~7점 구간으로 오면 예시 기반 모델이 예외 없이 무너진다. 논문은 이 모양을 중간 구간 열화라고 부른다.

주요 인사이트

• 숫자로 보면 이렇다. GPT 계열 여섯 가지 설정에 네 개 점수 구간, 문항 두 개를 곱하면 48개의 결과가 나오는데 그중 47개에서 정답지와 두 범주 넘게 차이 났다. 열 개 범주 중 두 개 이상을 잘못 본 셈이다.
• 미세조정 모델도 중간 구간에서 나빠지긴 하지만 무너지는 정도가 다르다. 최악의 경우가 평균 1.5범주로, 예시 기반 모델의 절반 이하다. 과제 전용 데이터가 중간 구간을 지켜 준 것이다.
• 사람 채점자에게는 이런 구간별 열화 패턴이 나타나지 않았다. 애매한 답안을 해석하는 데 사람은 비교적 일관적이었고, 유독 어려운 구간이 따로 없었다.
• 더 좋은 모델을 쓰면 해결되리라는 기대는 빗나갔다. 같은 개수의 예시를 줬을 때 GPT-5.2는 이전 세대인 GPT-4o보다 나을 게 없었다. 모델을 최신으로 바꾸는 것으로는 풀리지 않는 문제라는 뜻이다.
• 실무로 옮기면 두 가지다. AI 채점을 쓰더라도 중간 점수 구간은 사람이 다시 본다. 전수 검토가 아니라 구간 검토다. 그리고 예시를 두세 개만 주고 채점을 맡기지 않는다. 최소 여섯에서 열 개는 준비해야 한다.

자주 묻는 질문

관련 AI 소식