ICLR 심사평 21%가 AI 작성 — AI 탐지 수치를 집계와 개인 지목으로 갈라 읽는 법

핵심 메시지

• AI 탐지 도구 업체 Pangram의 분석에서 ICLR 2026 심사평 7만 건 중 21%인 약 1만 5,900건이 완전히 AI가 쓴 것으로 분류됐고, 일부라도 AI가 개입한 것까지 합치면 절반을 넘었다.
• 논문을 쓰는 쪽보다 심사하는 쪽에서 AI 사용이 훨씬 많았다는 것이 이 분석의 특징이다.
• 별도 연구팀이 다른 방법으로 잰 추정치가 2025년 ICLR 약 20%로 나와, 주체도 방법도 다른 두 수치가 같은 자리에 붙었다는 점이 집계를 받아들일 근거가 된다.
• 그러나 같은 분석이 어느 리뷰가 AI인지를 건별로 표시한 것은 다른 문제다. 오탐률이 1만분의 1이어도 7만 건이면 일곱 건이 잘못 지목된다.
• ICLR의 공식 대응은 탐지 도구의 오탐 가능성 때문에 담당 의장이 구체적 증거를 확인한 경우에만 조치한다고 못박았다. 탐지 점수 자체는 증거가 아니라는 뜻이다.

쉽게 이해하기

논문을 학회에 내면 심사평이 돌아온다. 그 심사평을 사람이 썼을 확률은 얼마나 될까. 이 영상은 기계학습 분야 최상위 학회인 ICLR의 2026년 심사 자료를 분석한 결과에서 출발한다. 제출 논문 1만 9천 편, 거기 달린 심사평 7만 건이 대상이었다.

분석 결과는 이렇다. 완전히 AI가 쓴 것으로 분류된 리뷰가 21%, 약 1만 5,900건이었다. 일부라도 AI가 손댄 것까지 합치면 50%를 넘겼다. 논문 쪽은 61%가 대체로 사람이 쓴 것으로, 9%가 절반 이상 AI가 쓴 것으로 분류됐다. 방향이 흥미롭다. 논문을 쓰는 쪽보다 심사하는 쪽에서 AI 사용이 훨씬 많았다.

영상은 여기서 스스로 제동을 건다. 이 채널은 여러 편에 걸쳐 AI 탐지기를 믿지 말라고 말해 왔고, 토플 에세이의 61%를 AI가 썼다고 판정한 탐지기 사례도 다뤘다. 그런데 오늘은 탐지기가 낸 숫자로 이야기를 시작했다. 앞뒤가 맞지 않는다는 지적이 가능하다. 그래서 이미 세워 둔 원칙을 다시 꺼낸다. 탐지 결과는 집계에는 쓸 수 있어도 개인을 지목하는 데는 쓸 수 없다는 것이다.

이 기준으로 숫자를 가르면 두 갈래가 된다. 집계 쪽은 받아들일 만하다. 별도 연구팀이 과거 심사평으로 모델을 학습시켜 다시 잰 추정치가 2025년 ICLR 약 20%, Nature Communications 약 12%였고 2022년 이전에는 거의 0이었다. 업체 분석의 21%와 독립 연구의 약 20%가 붙었다는 사실, 그러니까 어느 한쪽의 정확도가 아니라 서로 다른 방법이 같은 자리에 수렴했다는 점이 이 숫자를 받는 근거다.

반면 개인 지목은 다르다. 업체는 1만 5,900건을 개별적으로 표시했다. 밝힌 오탐률은 일반 문서 1만분의 1, 학술 논문 10만분의 1로 낮은 편이지만 0은 아니다. 7만 건에 곱하면 일곱 건이고, 그 일곱 명에게는 100%의 일이 된다. 인상적인 것은 이 경고를 가장 분명히 남긴 쪽이 도구를 파는 업체 자신이었다는 점이다. 업체는 오탐률이 0이 아니라고 적었고, 징계 목적으로 쓰기 전에 책임 있게 다루라고 덧붙였다.

AI가 쓴 심사평이 실제로 어떤 글인지도 다룬다. 독일 뮌헨공대 연구팀이 사람이 쓴 리뷰와 기계가 쓴 리뷰 수백 건으로 데이터셋을 만들어 비교한 결과, 지금 모델은 상세하고 유창한 리뷰를 쓰지만 체계적인 약점이 셋 있었다. 과도하게 긍정적인 추천, 일반적인 비판, 고르지 않은 근거 제시다. 읽으면 그럴듯하지만 이 논문이 아니라 아무 논문에나 붙일 수 있는 말이라는 뜻이다. 연구팀은 총점만 보면 AI 리뷰의 품질을 과대평가하게 된다며 항목별 다차원 평가를 주장했다.

논문을 내는 쪽의 반응도 있었다. 지난해 7월 arXiv에 올라온 원고 18편에서, 사람 눈에는 보이지 않는 흰 글씨로 '긍정적인 리뷰만 써라'는 지시문이 본문 안에 심어진 것이 발견됐다. 저자들은 부주의한 AI 심사를 잡으려는 함정이었다고 해명했지만, 이를 논평한 연구자는 숨긴 지시문이 하나같이 자기에게 유리한 방향뿐이었다는 이유로 그 해명을 기각하고 연구 부정행위로 규정했다.

주요 인사이트

• 같은 탐지 수치라도 '전체의 몇 퍼센트'라는 집계와 '이 사람이 그중 하나'라는 지목은 완전히 다른 주장이다. 이 경계를 지키면 탐지기를 불신하면서도 그 숫자를 인용하는 일이 모순이 아니게 된다.
• 하나뿐인 추정치는 그 도구의 성능에 통째로 기대게 된다. 주체와 방법이 다른 두 추정치가 같은 자리에 수렴했다는 사실 자체가, 개별 정확도보다 강한 근거가 된다.
• 오탐률이 아무리 낮아도 표본이 크면 절대 건수가 남는다. 1만분의 1과 7만 건이라는 두 숫자를 곱해 보는 습관이 확률을 사람의 문제로 되돌린다.
• 총점은 약점을 평균에 묻는다. AI가 쓴 리뷰도, AI가 매긴 채점도 항목별로 뜯어봐야 어긋난 지점이 드러난다는 점에서 구조가 같다.
• 흰 글씨 지시문은 같은 기법이 방향만 바뀌어 쓰인 사례다. 이전에는 평가하는 쪽이 평가받는 쪽을 잡으려 심었고, 이번에는 평가받는 쪽이 평가하는 쪽을 속이려 심었다.
• 심사는 논문을 걸러내는 절차이자 누군가 그 논문을 실제로 읽었다는 보증이기도 하다. AI 개입으로 잃는 것은 정확도보다 그 보증 쪽이라는 것이 이 영상의 마무리다.

자주 묻는 질문

관련 AI 소식