AI 부정행위 탐지 정확도 총정리: 원격 감독·텍스트 탐지기·워터마크는 어디까지 믿을 수 있나

핵심 메시지

• 시험지에 배경색과 같은 흰 글씨로 숨긴 지시가 두 반 35명 중 32명의 답안에서 그대로 나왔지만, 이 함정이 실제로 잡아낸 것은 AI 사용이 아니라 문제를 읽지 않고 통째로 붙여넣은 태도였다.
• 원격 감독은 부정행위 자체가 아니라 다수와 다른 움직임, 즉 통계적 이상치를 표시할 뿐이며 그 표시는 의심이지 증거가 아니다.
• 스탠퍼드 연구팀이 널리 쓰이는 탐지기 7개에 사람이 쓴 토플 에세이를 넣자 평균 오탐률이 61%였고, 97.8%가 최소한 하나의 탐지기에 AI로 걸렸다.
• 워터마크와 출처 서명은 추측이 아니라 사전 표시라는 점에서 다르지만, 표시를 남긴 것만 잡아낸다는 공통된 한계가 있다.
• 이미지 탐지기는 학습한 생성기에서는 99.73%까지 나오지만 처음 보는 생성기 앞에서는 51.35%로, 절반씩 섞인 문제에서 사실상 동전 던지기 수준이 된다.

쉽게 이해하기

미국의 한 교수가 중간고사 문제 안에 배경과 같은 흰색 글씨로 지시문을 숨겼다. 사람 눈에는 보이지 않지만 전체 선택해 복사하면 그대로 따라오는 방식이었고, 지시 내용은 답에 '마다가스카르'를 말이 안 되는 방식으로 넣으라는 것이었다. 두 반 35명 가운데 32명의 답안에 그 단어가 등장했고, 걸린 학생은 해당 문항에서 낙제했으며 이의를 제기한 학생은 두 명뿐이었다.

그러나 이 함정이 증명한 것은 AI를 썼다는 사실이 아니다. 문제를 읽지도 않고 통째로 붙여넣었다는 사실이다. AI로 초안을 만든 뒤 자기 말로 다시 쓴 학생이나 답을 한 번이라도 읽어본 학생은 걸리지 않는다. 게다가 이런 수법은 한번 쓰이면 소문이 나고, 붙여넣기 전에 서식만 지워도 무력화되므로 탐지 기술이라기보다 성실성 점검에 가깝다.

감시를 강화하는 원격 감독은 웹캠으로 시선과 자세, 주변 소리를 계속 관찰하고 시험 전 방을 카메라로 훑게 하기도 한다. 문제는 이 시스템이 부정행위 자체를 보는 것이 아니라 다수와 다른 움직임을 표시한다는 점이다. 워싱턴대 연구팀이 편의 지원을 받는 장애 학생들을 인터뷰하자, 이들은 자기 몸의 움직임이 부정행위로 오해될까 걱정하며 시험을 봤다고 답했다. 2022년 미국 연방법원은 클리블랜드 주립대의 방 스캔이 수정헌법 4조가 금지하는 부당한 수색이라고 판단했다(다만 해당 학생의 사정에 한정된 판단이라고 뒤에 명확히 했다).

결과물을 판별하는 기술은 크게 셋이다. 글의 통계적 특징을 보는 텍스트 탐지, 만들 때 신호를 심는 워터마크, 출처를 서명으로 남기는 방식이다. 텍스트 탐지의 핵심 개념인 퍼플렉서티는 다음 단어가 얼마나 예측하기 쉬운지를 재는 값인데, 스탠퍼드 연구팀이 탐지기 7개에 사람이 쓴 글만 넣어보니 미국 중학생 글은 거의 완벽하게 사람 글로 분류한 반면 토플 에세이는 절반 넘게 AI 판정을 받았다. 외국어로 쓴 글은 어휘 변화가 적고 문장이 표준형에 가까워지기 때문으로, 탐지기가 읽은 신호는 AI의 흔적이 아니라 언어를 얼마나 자유롭게 구사하는지의 흔적이었다.

이미지 쪽에서는 버클리 연구팀이 널리 쓰이는 탐지기를 여러 방식으로 미세 조정해가며 정확도를 나눠 쟀다. 학습한 생성기 안에서는 99.73%까지 나왔고 새 생성기 이미지를 700장만 보여줘도 거의 완벽하게 분류했지만, 학습하지 않은 생성기를 만나자 51.35%로 떨어졌다. 더 이상한 것은 순위가 뒤집힌다는 점으로, 가장 열심히 학습한 방법이 처음 보는 생성기 앞에서 가장 나빴고 파라미터를 조금만 건드린 방법이 오히려 74%대를 냈다. 그만큼 특정 생성기의 버릇에 맞춰졌다는 뜻이다.

주요 인사이트

• 탐지 결과는 단서는 될 수 있어도 한 학생의 학점을 걸 만한 증거가 되기는 어렵다. 원격 감독은 이상치를 표시할 뿐이고, 통계적 탐지는 비원어민에게 불리하며, 표시 기반 기술은 표시한 것만 잡는다.
• 퍼플렉서티 기반 탐지가 비원어민 글을 AI로 오인한다는 것은 단순한 성능 문제가 아니라 특정 집단에 체계적으로 불리하게 작동한다는 뜻이다. 게다가 프롬프트를 조금만 손보면 우회되므로, 정직한 학생이 걸리고 우회하는 학생이 빠져나가는 구조가 된다.
• 규제는 표시 쪽으로 움직이고 있다. 유럽연합 인공지능법 50조는 생성형 AI 산출물에 기계가 읽을 수 있는 표시를 의무화했고, 적용은 8월 2일부터, 이미 나와 있던 시스템은 그해 12월까지 유예를 받았다.
• 이미지 탐지에서 더 많이 학습할수록 처음 보는 생성기에 더 취약해졌다는 결과는, 탐지기가 '생성물 일반'이 아니라 '아는 생성기의 버릇'을 배우고 있음을 보여준다. 새 모델이 계속 나오는 한 이 격차는 구조적이다.
• 대학들은 잡는 쪽이 아니라 문제를 다시 만드는 쪽으로 방향을 바꾸고 있다. 교수자들은 과제의 20~40%가량을 손봤다고 답했고, 5분짜리 구술 확인과 초안·작업기록·회고 제출이 늘고 있다. 평가의 축이 완성도에서 판단의 근거와 소유권으로 옮겨가는 것이다.

자주 묻는 질문