AI 글쓰기 흔적 연구 정리: 워릭대 학부 레포트 4,820편 10년치 분석과 2025년 감소

핵심 메시지

• 워릭대 연구팀이 2016~2025년 학부생 2,000명이 실제로 제출하고 채점까지 받은 실험보고서 4,820편에서 챗GPT와 연관된 표적어 8개의 출현율을 셌고, 2024년에 0.226으로 전년 대비 86.9% 뛰며 사전 예측 구간 [0.035, 0.181]을 확실히 벗어났다.
• 챗GPT 이전에 쓰인 학생 원본을 GPT에게 문장만 다시 쓰게 하자 표적어 출현율이 0.069에서 0.45 수준으로 여섯 배 넘게 뛰었다. 시대의 유행이 아니라 도구의 버릇이라는 뜻이다.
• 단어만 바뀐 것이 아니라 사전등록한 문체 지표 일곱 개가 모두 더 격식 있는 쪽으로 움직였고, 감정 톤도 주제나 실험 결과의 유의성과 무관하게 긍정 쪽으로 이동했다.
• 그런데도 성적과 피드백으로 잰 글의 질에는 뚜렷한 변화가 없었고, AI 사용을 밝히라는 지침이 있었는데도 10년치에서 밝힌 학생은 한 명도 없었다.
• 2025년에는 표적어가 17.2% 줄고 delve는 78.6% 빠졌다. 알려진 흔적은 지워지므로, 흔적 탐지는 개인을 지목하는 근거가 될 수 없다.

쉽게 이해하기

영국 워릭대 연구팀이 심리학 전공 학부생 2,000명이 2016년부터 2025년까지 실제로 제출하고 채점까지 받은 실험보고서 4,820편을 모아, 앞선 연구들이 챗GPT 산출물과 연관지은 단어 여덟 개를 셌습니다. 형용사 넷(crucial, comprehensive, intricate, pivotal)과 동사 넷(delve, underscore, utilise, align)입니다. 여기에 챗GPT 전후로 변하지 않은 것으로 알려진 대조어 두 개(conclude, technical)를 넣고, 챗GPT 이전 7년치 추세로 "AI가 없었다면 어땠을지"를 미리 계산해 두었습니다.

표적어 여덟 개의 평균 출현율은 2016년 0.054에서 2022년 0.093까지 완만하게 올랐습니다. 챗GPT가 나온 다음 해인 2023년에는 0.121로 올랐지만 아직 예측 구간 안이었습니다. 그런데 2024년에 0.226으로 뜁니다. 전년 대비 86.9%, 예측 구간 상한을 확실히 넘은 값입니다. 단어별로는 underscore가 690.6%로 압도적인 1위였고 intricate 260%, pivotal 223%가 뒤를 이었습니다. 같은 기간 대조어 두 개는 안정적이었습니다. 학생들의 글이 전반적으로 어려워진 것이 아니라 특정 단어들만 골라서 튀어 오른 것입니다.

"그 시기에 그냥 유행한 단어일 수도 있지 않나"라는 반론을 가르기 위해 연구팀은 실험을 하나 더 했습니다. 챗GPT 이전에 학생들이 쓴 레포트를 가져다 내용은 그대로 두고 GPT에게 문장만 다시 쓰게 한 것입니다. 유행이었다면 재작성본에서도 특별히 늘 이유가 없고, 도구의 버릇이라면 원본에 없던 단어가 무더기로 나타나야 합니다. 학생 원본에서 0.069였던 출현율은 GPT 재작성본에서 0.45 수준으로 나왔습니다. 같은 내용을 통과시키기만 해도 지문이 찍힌다는 뜻입니다.

바뀐 것은 단어만이 아닙니다. 연구팀이 미리 정해 둔 문체 지표 일곱 개, 즉 어휘 다양성과 밀도, 어휘 정교성, 구문 깊이, 절 밀도, 가독성 등이 모두 더 격식 있는 쪽으로 함께 움직였습니다. 예상 밖의 결과도 하나 나왔습니다. 글의 감정 톤이 긍정 쪽으로 이동한 것인데, 그 이동이 주제와도 무관하고 실험 결과가 유의하게 나왔는지와도 무관했습니다. 실험보고서가 안 나온 결과를 안 나왔다고 적어야 하는 글이라는 점을 생각하면, 비판적으로 따지는 자리가 줄었을 수 있다는 신호입니다.

이것이 한 학과만의 일인지 확인하려면 더 큰 자료가 필요합니다. 독일 튀빙겐 연구팀은 2010년부터 2024년까지 펍메드에 실린 생의학 논문 초록 1,500만 편에 감염병의 초과 사망 계산법을 그대로 옮겨 썼습니다. 예년 추세로 올해 단어 빈도를 예측하고 실제와의 차이를 보는 방식으로, 2024년에 초과 문체어 379개가 걸렸고 그중 66%가 동사였습니다. delves는 28배로 튀었고, 이 방법으로 추정한 결과 2024년 초록의 최소 13.5%가 대규모 언어모델을 거친 것으로 나왔습니다. 다만 이 방법이 재는 것은 집단의 빈도 변화이지, 논문 한 편을 열어 놓고 이건 AI가 썼다고 말하는 도구가 아닙니다.

개별 글은 아예 못 가리는가 하면 그렇지도 않습니다. 코넬 연구팀은 챗GPT 이전에 쓰여 오염이 없는 대학 지원서 에세이 3만 편에 모델 여덟 개가 같은 문항에 답한 에세이를 붙여 분류기를 학습시켰고, 판별 성능 F1 0.998을 얻었습니다. 둘을 가른 것이 흥미롭습니다. AI 쪽 결정적 단어는 challenge, growth, community, journey, resilience처럼 전부 문항에 이미 들어 있던 말이었고, 사람 쪽은 그 해와 그 시간과 그 친구, 즉 자기 삶의 구체였습니다. 다만 이 실험의 AI 에세이는 프롬프트 한 번으로 통째로 받아낸 글이라 학생들의 실제 사용 방식과는 다릅니다.

그리고 2025년, 워릭대 자료에서 표적어 출현율이 0.226에서 0.188로 17.2% 떨어졌습니다. 예측 구간 상한 바로 아래까지 내려온 것이고, 여덟 개 중 일곱 개가 줄었으며 delve가 78.6%로 가장 크게 빠졌습니다. 연구팀은 학생들이 흔적을 지우기 시작했다고 추정하지만 이는 어디까지나 추정입니다. 대조어인 conclude도 같은 해에 23% 줄어 설명되지 않는 부분이 남아 있고, 논문에도 당혹스럽다고 적혀 있습니다.

주요 인사이트

• 표적어와 대조어를 나눠 세고 사전에 반사실 예측 구간을 계산해 둔 설계 덕분에, "글이 전반적으로 어려워진 것"과 "특정 단어만 튄 것"을 구분할 수 있었다. 대조어가 움직이지 않았다는 사실이 결론의 무게를 지탱한다.
• 같은 내용을 GPT에 통과시키기만 해도 표적어가 여섯 배 넘게 늘었다는 재작성 실험은, 관찰 자료만으로는 갈리지 않는 유행 가설과 도구 가설을 갈라내는 결정적 장치였다.
• 성적은 그대로였다는 결과는 두 갈래로 읽힌다. 채점이 이 변화를 잡아내지 못했거나, 애초에 평가에 영향을 줄 만한 변화가 아니었거나다. 어느 쪽이든 문체 변화만으로 학업 성취를 논하기는 어렵다.
• AI 사용을 밝히라는 지침이 있었는데도 10년치에서 밝힌 학생이 0명이라는 사실은, 자발적 공개에 기대는 정책이 작동하지 않는다는 직접 증거다.
• 집단 빈도로는 뚜렷하지만 개인은 지목할 수 없고, 알려진 흔적은 곧 지워진다. 그래서 물어야 할 질문이 "이 단어를 썼는가"에서 "이 글에 그 사람만 쓸 수 있는 구체가 남아 있는가"로 바뀐다.

자주 묻는 질문

관련 AI 소식