AI 글쓰기 획일화 논란 - '단순히 X가 아니라 Y다' 문체가 순식간에 신뢰를 잃은 이유

핵심 메시지

• "단순히 X가 아니라 Y다" 형태의 대조법은 아리스토텔레스가 수사법으로 정리하고 성경과 셰익스피어, 마틴 루서 킹의 연설까지 관통해 온 인류 언어의 오래된 장치다.
• 영상은 이 문체가 챗GPT 확산 이후 약 2년 만에 '깊이 있는 글'의 신호에서 '자동 생성물'의 신호로 뒤집혔다고 진단한다.
• 원인으로는 RLHF 과정에서 인간 평가자가 뉘앙스의 겉모습을 실제 깊이로 착각하고, 보상 모델이 대조 구문을 도움됨 점수와 연결지어 학습한 구조가 지목된다.
• 클로드에게는 합리주의 커뮤니티 어휘인 '하중을 받는(load bearing)'이 같은 방식의 표식으로 작동한다고 본다.
• AI 영상 생성 기업 신세시아의 CEO가 사내에 'AI 슬롭화'를 멈추라는 글을 올릴 만큼, 피로감이 AI 업계 내부에서도 터져 나오고 있다.

쉽게 이해하기

영상은 사도 바울이 로마 감옥에서 고린도 교회에 보낸 편지의 한 구절에서 출발한다. "문자는 죽이는 것이요 영은 살리는 것"이라는 여섯 단어짜리 문장의 형태, 곧 'X가 아니라 Y다'라는 대조 구조가 인류 언어에서 가장 오래된 장치 중 하나라는 것이다. 아리스토텔레스가 기원전 4세기에 수사법으로 이름 붙였고, 키케로는 로마 원로원 연설마다 썼으며, 킹 제임스 성경은 창세기부터 요한계시록까지 이 구조로 굴러간다. 이 형태는 셰익스피어가 카이사르의 장례식에서 안토니우스에게 준 "나는 카이사르를 묻으러 왔지 칭송하러 온 것이 아니다"로 이어졌고, T. S. 엘리엇과 케네디를 거쳐 링컨 기념관 계단 위 마틴 루서 킹의 "피부색이 아니라 인격의 내용으로"에 닿았다. 목적은 하나였다. 겉으로 보이는 것이 진실이 아니며 진짜는 반대편에 있다고 선을 긋는 일이다. 영상은 그 강력했던 형식이 지금은 순전한 민망함이 됐다고 말한다.

왜 이렇게 됐는지에 대한 설명은 두 갈래다. 하나는 학습 데이터다. 챗GPT는 성경과 키케로, 링컨과 킹의 연설을 모두 학습했지만, 모델이 익힌 어조는 오히려 2010년 이후의 사상가 경제에 더 가까웠다. 영상은 유발 하라리를 '환자 0번'으로 지목한다. 『사피엔스』와 『호모 데우스』, 『21세기를 위한 21가지 제언』이 이 구문으로 굴러가고 수백 번씩 등장한다는 것이다. 맬컴 글래드웰, 사이먼 시넥, 브레네 브라운, 비행기에서 본 모든 테드 강연이 같은 계보에 있다.

다른 하나는 정렬 과정이다. 영상이 인용한 멜라니 미첼의 설명에 따르면, 인간 주석자는 뉘앙스의 겉모습을 실제 깊이와 자주 혼동한다. 두 응답을 비교할 때 대조 구조를 쓴 쪽이 통계적으로 더 많은 표를 받는다. "광합성은 단순한 생물학적 기능이 아니라 지구 생명의 근본 엔진이다"가 "광합성은 빛을 에너지로 바꾼다"보다 정보량이 적은데도 더 통찰력 있게 읽힌다는 것이다. 수백만 번의 RLHF 반복을 거치며 보상 모델은 변증법적 얼버무림이 높은 도움됨 점수와 상관관계가 있다는 대리 지표를 학습했고, 모델은 의미를 더하든 말든 대조 구문을 집어넣게 됐다. 여기에 RLHF는 모델이 무뚝뚝하거나 단정적으로 굴면 벌점을 준다. 'X가 아니라 Y다'는 사용자의 기존 전제를 인정하면서 설명 한 겹을 덧대기 때문에 안전하고, 독자가 도움이 되지 않았다고 표시하기도 어렵다. 연구자들은 이 결과를 '굴종하도록 조건화된 AI'라고 불렀다고 영상은 전한다. 바울이 감옥에서 얻어낸 형식이 트랜스포머에게는 최소 저항 경로, 가장 값싼 선택이 된 셈이다.

모델별 표식도 다르다. 클로드의 경우 모든 것이 '하중을 받는다'. load bearing이라는 은유는 스콧 알렉산더와 엘리에저 유드코프스키 궤도의 합리주의 커뮤니티 관용구로, 2020년대를 거치며 철학과 테크 트위터, 서브스택 글쓰기로 퍼졌다. 논증에서 이 조각을 빼도 나머지가 서 있느냐를 묻는 구체적인 기능이 있지만, 클로드가 이 표현에 손을 뻗을 때는 특정 지적 하위문화의 문체를 패턴 매칭하고 있을 뿐이라는 지적이다.

남는 것은 사람의 몫이다. 영상은 에단 몰릭의 말을 빌려, AI를 쓰지 않는 사람은 AI 문장을 눈으로 가려내지 못하는 반면 많이 쓰는 사람은 표식을 쉽게 알아본다고 전한다. 알아보지 못하는 쪽은 그 글에서 배우며 점점 AI처럼 쓰게 된다. 기계가 인류 문명을 표절했고, 이제 인간은 표절자처럼 보이지 않으려 자기 글을 고치느라 일이 더 늘었다는 것이다. 저항은 업계 안에서도 나온다. AI 콘텐츠를 대규모로 생성하는 것이 사업 자체인 신세시아의 CEO 빅토르 리파르벨리는 링크드인에 'AI 슬롭화'를 멈추라며, 다섯 줄 요약으로 될 것을 세 쪽으로 늘리지 말라고 사내에 요청했다. 운영자이자 작가인 클레어 보는 X에 '요약 산업 복합체'라는 표현을 올리며, 사려 깊게 들리도록 지시받은 봇이 봇에게 답하는 피드를 '끝까지 얇은 껍데기뿐'이라고 불렀다. 그의 조언은 짧다. 콘텐츠를 벌어라.

주요 인사이트

• 좋은 문체가 신뢰를 잃는 과정은 굿하트 법칙의 언어판이다. 특정 어조가 최적화 대상이 되는 순간 그것은 더 이상 수준의 신호로 기능하지 못하고 자동화의 신호로 바뀐다.
• 문제의 뿌리는 모델의 생성 능력이 아니라 평가 방식에 있다. 사람이 깊이 대신 깊이처럼 보이는 것에 표를 준다면, 보상 모델은 정확히 그 겉모습을 최적화한다.
• 모델마다 다른 표식이 생기는 이유는 학습 데이터에 섞인 하위문화의 차이다. 챗GPT의 대조법이 대중 교양서 계보에서 왔다면, 클로드의 'load bearing'은 합리주의 블로그 계보에서 왔다.
• AI 문장을 알아보는 능력 자체가 사용량에 비례하기 때문에, 알아보지 못하는 다수가 AI 문체를 표준으로 학습하는 되먹임이 생긴다.
• AI를 파는 회사의 경영진이 사내에 AI 사용 자제를 요청하는 장면은, 생성 비용이 0에 가까워질 때 희소해지는 것이 무엇인지를 보여준다.

자주 묻는 질문

관련 AI 소식