AI 탐지기 오탐률의 함정: 95% 정확도에도 적발 학생 절반이 결백한 이유와 기저율 계산

핵심 메시지

• 탐지기가 학습한 것은 'AI가 썼을 때 이런 신호가 나올 확률'인데, 교수자가 알고 싶은 것은 '이 신호가 나왔을 때 학생이 AI를 썼을 확률'이라 방향이 정반대다.
• 두 확률을 이으려면 그 수업에서 실제로 AI를 쓴 학생의 비율, 즉 기저율이 필요한데 탐지기는 이 값을 알 수 없다.
• 수강생 100명 중 5명이 AI를 썼고 탐지기가 AI 글의 95%를 잡되 사람 글의 5%를 잘못 표시하면, 적발 명단의 절반이 직접 글을 쓴 학생이다.
• 오탐률을 1%로 낮춰도 여섯 명 중 한 명은 여전히 결백하며, 성실한 학생이 많은 수업일수록 무고한 고발 비율은 오히려 커진다.
• 밴더빌트 대학은 오탐률 1%에 연간 제출 과제 75,000편을 곱해 750편이라는 수치를 제시하고 탐지 기능을 껐다.

쉽게 이해하기

영상은 국내 한 AI 탐지 서비스의 첫 화면에 적힌 'AI가 쓴 글을 100% 잡아낸다'는 문구와, 같은 사이트의 자주 묻는 질문에 적힌 '결과는 참고 지표일 뿐이니 100% 의존하거나 신뢰하지 마십시오'라는 문구를 나란히 놓는 데서 출발한다. 발표자는 두 문장이 논리적으로 모순은 아니라고 분명히 선을 긋는다. 앞의 문장은 빠뜨리지 않는다는 뜻으로, 뒤의 문장은 사용 주의로 읽을 수 있기 때문이다. 문제는 내용이 아니라 위치다. 교수자가 실제로 보는 것은 첫 화면이고, 면책 문구는 FAQ 안쪽에 숨어 있다.

발표자는 특정 서비스의 성능을 평가하려는 것이 아니라고 못 박는다. 주장은 하나다. 탐지기가 아주 정확하더라도 그 결과만으로 학생 한 명을 고발하는 일은 성립하지 않는다는 것이다. 성능 문제가 아니라 산수 문제이기 때문이다. 탐지기가 내놓는 것은 예/아니오가 아니라 'AI 생성 가능성 몇 퍼센트'와 의심 구간 표시인데, 숫자가 붙으면 객관적으로 보인다는 점이 함정의 시작이다.

핵심은 두 확률의 방향이 반대라는 사실이다. 탐지기가 학습한 것은 AI가 쓴 글을 넣었을 때 특정 신호가 나오더라는 관계다. 그런데 교수자가 알고 싶은 것은 그 신호가 나왔을 때 이 학생이 AI를 썼을 확률이다. 두 값을 잇기 위해서는 그 수업에서 원래 AI를 쓰는 학생이 몇 명쯤인지, 즉 통계에서 기저율이라 부르는 값이 하나 더 필요한데 탐지기는 이 값을 알 수도 없다.

영상은 100명 격자로 직접 계산을 보여준다. 수강생 100명 가운데 5명이 실제로 AI로 과제를 썼고, 탐지기는 AI 글의 95%를 잡아내며 사람 글은 5%만 잘못 표시한다고 가정한다. 실제 사용자 5명 중 약 4.75명이 걸리고, 직접 쓴 95명 중에서도 약 4.75명이 걸린다. 명단을 열어보면 두 명 중 한 명이 결백하다. 오탐률을 1%로 낮추면 위양성이 한 명 아래로 줄지만 여섯 명 중 한 명은 여전히 결백하다. 게다가 1%라는 가정 자체가 후한 편이어서, 사람이 쓴 토플 에세이의 61%가 AI로 판정된 연구나 학습하지 않은 분야에서 사람 글 상당수가 기계 글로 판정된 연구가 인용된다.

대학 전체로 범위를 넓히면 숫자는 더 커진다. 밴더빌트 대학은 2023년 8월 공지에서 업체가 주장한 오탐률 1%에 그 전해 제출받은 과제 75,000편을 곱해 750편이라는 값을 제시했고, 'AI 탐지 소프트웨어가 사용해야 할 효과적인 도구라고 보지 않는다'며 학교 전체에서 기능을 껐다. 이유로는 정확도가 불안정하다는 점, 다른 대학에서 무고한 고발이 보고됐다는 점, 그리고 비원어민 글을 AI로 표시하는 경향이 있다는 점을 들었다.

발표자는 정확도와는 별개의 문제도 짚는다. 징계 절차에서는 고발하는 쪽이 근거를 대야 하는데, 탐지기는 왜 그 점수가 나왔는지 설명하지 못한다. 학생이 아니라고 하면 남는 것은 숫자 하나와 그 숫자를 믿는 사람뿐이고, 그것은 증거가 아니라 인상이다. 밴더빌트가 대신 권고한 것은 AI 사용 규칙을 미리 알리기, 인용 형식으로 AI 사용을 밝히게 하기, 수업 중 작성이나 강의 고유 주제처럼 과제를 다시 설계하기, 학생의 이전 글과 문체를 직접 비교하기, 그리고 목록의 마지막인 '의심되면 직접 대화하기'였다.

주요 인사이트

• 오탐률을 낮추는 기술 개선으로는 이 문제가 줄어들 뿐 사라지지 않는다. 결백한 사람의 비율은 탐지기 성능이 아니라 그 수업의 기저율에 달려 있기 때문이다.
• 직관과 반대로, AI를 쓴 학생이 적은 '성실한 수업'일수록 적발 명단에서 무고한 학생의 비율이 더 높아진다.
• '90%'라는 숫자를 '90% 확률로 유죄'로 읽는 것은 기저율 계산을 통째로 건너뛴 해석이다.
• 판별 근거를 설명하지 못하는 도구는 정확도와 무관하게 징계 절차에 부적합하다. 근거를 제시할 수 없으면 그 점수는 증거가 아니라 인상에 머문다.
• 탐지기는 학기별 표시 증가나 특정 과제 쏠림 같은 집계 용도로는 의미가 있다. 개인을 지목하지 않기 때문이다. 못 쓰는 용도는 단 하나, 학생 한 명을 징계하는 근거로 쓰는 것이다.
• 학생이 자기 글을 미리 탐지기에 넣어보고 점수를 낮추려 문장을 고치면, 배우는 것은 좋은 글쓰기가 아니라 탐지기를 피하는 글쓰기가 된다.

자주 묻는 질문

관련 AI 소식