AI 논문 작성 생산량 52.9% 증가, 글쓰기 복잡도와 연구 품질의 관계가 뒤집힌 이유

핵심 메시지

• AI를 쓰기 시작한 연구자의 논문 생산량은 물리·컴퓨터과학 저장소에서 36.2%, 생명과학 저장소에서 52.9% 늘었다.
• 가장 큰 이득을 본 쪽은 아시아권 이름을 가진 연구자와 아시아 소재 기관 소속 연구자로, 영어라는 장벽이 줄어든 결과로 해석된다.
• 사람이 쓴 논문에서는 글이 복잡할수록 동료 심사 통과 확률이 높았지만, AI를 쓴 원고에서는 이 관계의 부호 자체가 반대로 뒤집혔다.
• 연구진은 겉보기에는 설득력 있지만 실속이 부족한 연구가 문헌을 뒤덮을 위험을 경고한다.
• AI를 쓴 연구자는 책을 인용할 확률이 11.9% 높았고, 더 최근이면서 덜 알려진 문헌을 끌어다 쓰는 경향을 보였다.

쉽게 이해하기

코넬대와 UC 버클리 연구진이 2025년 12월 사이언스에 발표한 "거대 언어 모델 시대의 과학 생산"은 이 주제로 나온 실증 연구 중 가장 큰 규모다. 2024년 중반까지의 프리프린트 210만 편, 동료 심사 보고서 2만 8천 건, 학술 문서 접근 기록 2억 4600만 건을 한꺼번에 훑었다. 각 분야에서 가장 큰 저장소만 골라 분석 대상으로 삼았다.

누가 AI를 썼는지 가려내는 방법이 먼저 필요했다. 연구진은 챗지피티 등장 이전인 2023년 이전 초록으로 사람이 쓴 글의 단어 분포를 만든 뒤, 같은 초록을 AI에게 다시 쓰게 해 두 분포를 비교했다. 그 결과 세 저장소 모두에서 생산량이 뚜렷하게 늘었고, 분야와 저자에 따라 증가폭은 크게 갈렸다.

핵심은 그다음이다. 오랫동안 학계에서는 명확하면서도 복잡하게 쓴 글이 더 강한 논문으로 여겨졌고, 실제로 동료 심사를 통과할 확률도 높았다. 정교하게 서술하는 능력이 연구팀이 얼마나 공을 들였는지 보여주는 신호로 작동했기 때문이다. 그런데 AI를 쓴 원고에서는 글이 복잡할수록 오히려 통과 확률이 낮아졌다.

우연이 아닌지 확인하기 위해 연구진은 한 머신러닝 학회에 제출된 논문 7,243편 전체와 거기 달린 2만 8천 건의 전문가 리뷰 점수로 같은 분석을 반복했다. 결과는 일관됐다. 복잡한 AI 생성 문장이 약한 과학적 기여를 감추는 경우가 많다는 것이다. 글을 다듬는 데 드는 노력이 줄어들자, 글의 품질이 연구의 품질을 대신 알려주던 힘도 함께 사라졌다.

인용 행동에도 변화가 있었다. 두 개의 대형 인용 데이터베이스를 연결해 1억 건이 넘는 인용을 분석한 결과, AI를 쓰는 연구자는 책을 인용할 확률이 11.9% 높았고 책에 실제로 접근한 비율도 26.3% 높았다. 인용하는 문헌은 평균 0.379년 더 최근 것이었고, 영향력 지표로는 2.34% 낮은, 즉 덜 알려진 연구였다.

주요 인사이트

• AI가 연구 생산의 진입 장벽을 낮춘 효과는 실재한다. 특히 영어가 모국어가 아닌 연구자에게 글쓰기 부담이 컸다는 점을 감안하면, 이 격차 축소는 논문이 확인한 가장 분명한 긍정적 변화다.
• 문제는 편집자와 심사자가 써 오던 지름길이 사라졌다는 점이다. 글의 특징으로 대충 걸러내던 방식이 무력해지는 바로 그 시점에 심사해야 할 물량은 급증하고 있다.
• 그 결과 심사자들이 저자의 이력이나 소속 기관 같은 지위 표지에 더 의존하게 될 수 있다. AI가 만들어낸 민주화 효과를 아이러니하게 되돌리는 결과다.
• 논문이 언급한 대응은 같은 기술을 평가에도 쓰자는 것이다. 방법론의 모순을 짚고 주장을 검증하는 심사 보조 에이전트인데, 도움이 될지 새로운 문제를 만들지는 아직 모른다고 덧붙인다.
• 책 인용과 접근이 함께 늘어난 것은, 긴 텍스트 안에 묻혀 있어 잘 읽히지 않던 내용을 AI가 끌어올려 준 결과로 보인다.

자주 묻는 질문

관련 AI 소식