문화 AI 학술대회: 생성형 AI는 전통의 기계화인가, 동료심사 자동화와 문체 평가 편향까지

핵심 메시지

• 첫 발표자는 생성형 AI가 하는 일을 정보 검색과 종합이라고 규정하고, 그 출력이 철저하게 공식적(formulaic)이라고 분석했다.
• 인간 문화의 상당 부분도 공식적이며, 그 공식은 전통으로 전수된다는 점에서 생성형 AI는 지능이 아니라 축적된 지성, 즉 전통에 대한 보철적 접근이라는 결론이 제시됐다.
• 학습 데이터가 디지털화된 것에 편중되기 때문에 규모가 작거나 문자로 기록되지 않았거나 온라인에 없는 전통은 모델에 거의 담기지 않는다는 경고가 이어졌다.
• 두 번째 발표는 논문 동료심사를 대규모 언어 모델에 넘기려는 최근 흐름을 정면으로 반박하며, 환각은 제거할 버그가 아니라 이 기술의 작동 방식이라고 지적했다.
• 세 번째 발표는 560명과 언어 모델 14종을 대상으로 한 실험에서, 텍스트에 붙은 'AI 생성' 표시만으로 평가가 뒤집히며 그 편향이 모델에서 더 강하게 나타남을 보였다.

쉽게 이해하기

뉴욕대에서 사흘간 열린 '문화 AI(Cultural AI)' 학술대회의 한 세션을 기록한 영상이다. 인공지능을 성능 지표가 아니라 문화·과학·문학이라는 렌즈로 검토하는 자리로, 통계학자와 과학철학자, 문학 연구자가 차례로 발표하고 긴 질의응답이 이어진다.

첫 발표자는 결론부터 제시한다. 생성형 AI는 정보 검색과 종합을 하고 있으며, 그 방식은 공식을 적용하는 것이라는 주장이다. 근거로는 영향 함수를 이용해 모델 출력이 학습 말뭉치의 어떤 문서에 가장 크게 영향받았는지 추적한 연구가 소개된다. 종료를 거부하는 모델의 답변에 가장 크게 기여한 문서가 하필 기계가 꺼지기를 거부하는 가장 유명한 공상과학 소설의 한 대목이었다는 것이다. 발표자는 실크로드를 통한 가상의 교역을 다룬 역사 에세이를 요구하자 학습 말뭉치에 없는 조합을 만들어 내는 사례를 보여 주며, 모델이 단순 암기가 아니라 검색과 종합을 한다고 정리한다.

이어지는 논지는 인간 문화 역시 대단히 공식적이라는 것이다. 같은 이야기를 매번 다르게 읊으면서도 스스로는 똑같이 말했다고 믿는 구전 서사시 연구, 분야마다 반복되는 과학 논문의 정형화된 문장, 러시아 민담의 줄거리를 사실상 문법으로 정리해 낸 형태론 연구가 예로 등장한다. 공식을 따른다는 것은 스스로 생각하지 않아도 된다는 뜻이고, 그것이 오히려 유용하다는 설명이다. 발표자는 1959년의 한 저작을 인용해 개인이 가진 지능과 공동체에 축적된 지성을 구분하며, 생성형 AI가 주는 것은 데이터센터 안의 천재들이 아니라 축적된 공식에 대한 보철적 접근이라고 결론짓는다. 다만 학습 대상이 디지털화된 자료에 한정되고 통계 모델은 희귀한 사례를 희생하므로, 작거나 기록되지 않은 전통은 배제된다는 점을 강하게 지적한다.

두 번째 발표는 무대를 과학 제도로 옮긴다. 발표자는 지난 1년 사이 동료심사를 AI로 대체하자는 제안이 폭발적으로 늘었다고 진단한다. 심사자들이 무보수 노동에 짓눌려 있다는 현실적 문제는 인정하지만, 언어 모델이 그 역할을 맡을 수는 없다고 본다. 동료심사는 한 편의 논문을 방대한 선행 연구와 학문적 전통 속에 배치하고, 앞으로 나올 연구를 가늠하며, 참신성과 방법론적 엄밀성과 문장의 유창함을 구분해 내는 작업이기 때문이다. 언어 모델은 추론을 제공하는 인식적 도구가 아니라 문화적 산물의 시뮬레이션을 만드는 장치이고, 산출물과 사실의 관계는 우연적이라는 것이 논지다. 유수 학술지에서 인용 14개 중 12개가 지어낸 것으로 드러난 사례가 근거로 언급된다.

세 번째 발표는 문학 연구 쪽에서 문체 평가의 편향을 실험으로 다룬다. 같은 줄거리를 99가지 문체로 다시 쓴 고전 작품에서 30편을 골라 AI로 같은 과제를 수행시킨 뒤, 560명에게 어느 쪽이 해당 문체를 더 잘 구현했는지 물었다. 표시가 없을 때는 AI 텍스트가 조금 앞섰지만, 올바른 표시를 보여 주자 AI 쪽이 불이익을 받았고, 표시를 바꿔치기하자 선택이 다시 뒤집혔다. 같은 실험을 언어 모델 14종에 적용하자 모델들도 AI가 썼다고 여긴 텍스트를 평가절하했는데, 그 편향의 크기는 사람의 약 2.5배였다.

주요 인사이트

• 생성형 AI를 '창의적 지능'이 아니라 '전통 접근 장치'로 규정하면 논쟁의 초점이 바뀐다. 문제는 모델이 얼마나 똑똑한가가 아니라, 어떤 전통이 디지털화되어 접근 가능해졌고 어떤 전통이 배제됐는가가 된다.
• 통계 모델은 흔한 사례의 성능을 높이는 대가로 드문 사례를 포기하는 선택을 하게 되어 있다. 소수 언어와 비문자 전통이 모델에서 빈약하게 재현되는 것은 편향 이전에 최적화의 구조적 귀결이다.
• 정의를 정확히 말하면서도 그 정의를 실제로 지키지 못하는 사례, 예컨대 각운 규칙을 설명하고도 운이 맞지 않는 시행을 만들어 내는 현상은 형식에 대한 접근과 내면화된 이해가 다르다는 점을 보여 준다.
• 동료심사 자동화 논의에서 핵심 반론은 성능이 아니라 기능이다. 환각은 개선으로 없앨 결함이 아니라 통계적으로 그럴듯한 것을 만들어 내는 설계 목적의 결과라는 지적이다.
• 귀속 편향 실험은 AI 평가자(LLM-as-a-judge)를 쓰는 관행에 직접적인 경고를 준다. 모델은 사람보다 강한 편향을 보였을 뿐 아니라, 라벨이 바뀌면 같은 특징을 정반대로 해석하는 근거를 만들어 냈다.
• 문체에는 정답 기준이 존재하지 않는다는 점 자체가 중요한 결론이다. 창작 능력을 리더보드로 줄 세우는 관행이 무엇을 측정하고 있는지 되묻게 한다.

자주 묻는 질문

관련 AI 소식