AI 글쓰기 탐지기의 한계 정리: 키스트로크 위조 공격, 분포 이동, 휴머나이저 55곳까지

핵심 메시지

• 타이핑 간격의 들쭉날쭉함으로 저작자를 확인하는 방어는 완전 자동 입력을 가려내는 데는 판별력 1.000으로 완벽했지만, 사람이 AI 글을 손으로 따라 치는 순간 무력화된다.
• 사람 세션 13,000개와 공격 세션 2,000개, 분류기 5종을 시험한 결과 모든 공격이 회피율 99.8%를 넘겼고 분류기는 평균 확신도 0.993으로 '사람'이라고 답했다.
• 문장 자체를 보는 탐지기는 학습 때 못 본 분야를 만나면 무너지는데, 확신은 그대로 유지한다. 최고 확신 구간의 정답률은 69%였고 사람이 쓴 글 5,000편 중 3,019편이 '거의 확실히 기계' 판정을 받았다.
• 패러프레이즈 한 번이면 판별력이 0.99에서 0.75로 떨어지고, 이를 대신해 주는 '휴머나이저' 사이트 55곳이 이미 시장을 이루고 있다.
• 학생 77명의 작성 과정을 전부 기록해 보니 네 유형이 나왔고, 그중 두 유형은 결과물이 사실상 같아 결과물만 보는 탐지로는 절대 구분되지 않는다.

쉽게 이해하기

숙제를 AI로 썼는지 알아내는 방법으로 최근 제안된 것은 글이 아니라 타이핑 리듬을 보는 것입니다. 사람은 생각하면서 치기 때문에 키를 누르는 간격이 들쭉날쭉하고, 기계가 밀어 넣은 글은 간격이 고르다는 발상입니다. 이 간격의 변동 계수를 하나의 숫자로 만들어 쓰는데, 완전 자동으로 입력된 글과 사람이 친 글을 가르는 과제에서는 판별력이 1.000, 즉 완벽했습니다.

문제는 실제 학생이 그런 식으로 제출하지 않는다는 데 있습니다. 올해 1월 나온 논문의 첫 번째 공격은 기술이 아니라 그냥 따라 치기로, AI가 만든 글을 화면에 띄워 놓고 손으로 옮겨 치면 그때 나오는 리듬은 위조가 아니라 진짜 사람의 운동 신호입니다. 두 번째 공격은 타이밍 자체를 위조하는 쪽인데, 사람 세션 13,000개와 공격 세션 2,000개, 분류기 5종에서 모든 공격이 회피율 99.8%를 넘겼고 분류기는 평균 확신도 0.993으로 '사람'이라고 답했습니다. 논문은 탐지기가 타이밍만 관찰한다면 따라 치기 공격에서는 신호와 출처 사이 정보량이 0이라는 것을 정리로 만들었습니다.

그렇다면 글 자체를 보는 쪽은 어떨까요. 지난달 나온 논문은 새 탐지기를 만들지 말고 기본기부터 다시 보자는 입장인데, 널리 쓰이는 언어 모델을 평범하게 파인튜닝한 것이 전용 탐지기보다 나았고(오탐을 엄격히 억제한 지점에서 53.8%) 진짜 병목은 학습 때 못 본 분야를 만나는 분포 이동이었습니다. 분야 하나를 빼고 학습시켜 시험하니 샘플의 99.4%가 최고 확신 구간에 들어갔는데 그 구간의 정답률은 69%였습니다. 틀리는 방향도 한쪽으로 쏠려, 사람이 쓴 글 5,000편 중 3,019편이 '거의 확실히 기계' 판정을 받았습니다.

우회는 더 간단합니다. 문장을 다른 모델로 한 번 바꿔 쓰게 하면 판별력이 0.99에서 0.75로 떨어지고, 이 일을 대신해 주는 '휴머나이저' 서비스가 이미 산업이 됐습니다. 영국과 베트남 연구팀이 체계적으로 검색해 55개 사이트를 목록으로 만들었는데, 이들은 무엇을 하는 서비스인지 설명하면서도 '부정행위'라는 단어만 빼고 결함 있는 탐지에 대한 합리적 대응으로 스스로를 설명합니다. 연구팀은 이 사이트들을 단속 대상이 아니라 우리 평가 방식을 비추는 진단 신호로 보라고 제안합니다.

질문을 바꾼 연구도 있습니다. 대학생 77명의 키 입력과 대화 전문, 복사해 온 텍스트를 전부 기록해 작성 과정을 되돌려 보니 주저자형, 협업형, 초안형, 바이브 작성형 네 무리가 나왔고 가장 많은 주저자형 중 26명은 최종본에 AI가 만든 단어가 하나도 없었습니다. 결정적인 것은 초안형과 바이브 작성형인데, 최종본에서 사람이 쓴 비율은 0.09와 0.01로 거의 같지만 과정에서 들인 노력은 0.64와 0.06으로 열 배 넘게 차이 납니다. 결과물만 보는 탐지는 이 둘을 구분할 수 없으므로, 필요한 것은 더 좋은 탐지기가 아니라 학생이 무엇을 했는지 스스로 보여줄 수 있는 과제 설계라는 결론입니다.

주요 인사이트

• 이 시스템이 확인할 수 있는 것은 사람이 키보드를 조작했다는 사실뿐이며, 그 사람이 그 글을 만들었는지는 확인하지 못한다. 작성과 필사 사이에 통계적 차이(효과 크기 1.28)는 있지만 둘 다 변동 계수가 임계값의 두 배에서 네 배라 그 차이로는 아무도 걸러낼 수 없다.
• 탐지기의 위험은 성능이 낮은 것이 아니라 틀린 자리에 높은 확신을 붙이는 것이다. 종합 지표만 보면 좋은 탐지기가, 실제 사용 문턱에 놓이면 처음 보는 분야에서 사람 글의 절반 넘게를 기계라고 부르는 장치가 된다.
• 정보량이 0이라는 결과는 공학적 개선의 여지를 닫는다. 모델을 키우거나 분류기를 정교하게 만드는 방향으로는 따라 치기 공격을 원리적으로 구분할 수 없다.
• 휴머나이저 시장의 검색어가 '탐지되지 않게 만들기', '탐지기 통과하기'라는 사실은 감시가 늘면 우회가 정교해지고 다시 감시가 느는 되먹임 고리가 이미 돌고 있음을 보여준다.
• 결과물이 동일한 두 집단이 과정 노력에서 열 배 차이 난다는 발견은, 평가의 대상을 산출물에서 과정으로 옮겨야 한다는 근거가 된다. 필요한 것은 더 좋은 탐지기가 아니라 학생이 무엇을 했는지 스스로 보여줄 수 있는 과제 설계다.

자주 묻는 질문

관련 AI 소식