AI 슬롭 판별과 대응법: 엠대시 흔적, 자동화 편향, 결정론적 검사로 생성형 콘텐츠 품질 지키기

핵심 메시지

• 이모지 남용, 엠대시, 불필요한 굵은 글씨, 지나치게 들뜬 어조는 LLM이 쓴 글임을 드러내는 흔한 징후다.
• 발표자가 자기 메일함 1년치를 분석했더니 엠대시 사용은 2023년을 기점으로 급증했고, 2025년 12월에는 받은 메일의 15%에 등장했다.
• LLM은 마법 상자가 아니라 '의도 확산기'에 가깝다. 세 단어의 의도를 세 문단으로 흩뿌리기 때문에 원래 하려던 말이 묽어진다.
• 자동화 편향의 흔한 처방인 휴먼 인 더 루프, 시스템 정확도 향상, 교육은 연구상 효과가 없거나 오히려 역효과였다.
• 품질을 지키는 실질적 방법은 LLM에게 다시 시키는 것이 아니라, 결정론적 코드로 검사하고 사람이 직접 고쳐 쓰는 것이다.

쉽게 이해하기

NDC 코펜하겐에서 마티스 판 데르 페이르는 링크드인과 회사 메일이 어느 순간부터 전부 똑같은 문체로 변한 현상을 문제 삼았다. 청중에게 어떤 점이 눈에 띄느냐고 묻자 이모지, 엠대시, 굵은 글씨가 곧바로 나왔다. 발표자는 이모지가 학습 데이터에는 거의 없던 요소인데도 유독 많이 튀어나오는 점, 그중에서도 체크 표시가 가장 많이 쓰인다는 점을 들며 이것이 LLM 특유의 아첨하는 태도와 겹쳐 보인다고 말했다.

확증 편향이 아닌지 확인하려고 그는 자기 메일함에서 1년 치 데이터를 뽑았다. 하이픈보다 긴 엔대시는 오래전부터 꾸준히 쓰였지만, 엠대시는 2023년을 기점으로 뚜렷하게 치솟았고 2025년 12월에는 받은 메일의 15%에 들어 있었다. 뉴스레터만이 아니라 같은 회사 동료들이 보낸 메일이 그랬다는 점이 그를 불편하게 만들었다. 그는 LLM을 쓰는 것 자체가 잘못이라고 말하지는 않는다. 다만 이렇게까지 티가 나야 하느냐고 묻는다.

왜 이렇게 됐을까. 발표자는 기술이 존재하기 때문이라는 설명은 게으르다고 보고 세 가지 이유를 든다. 첫째, 변화가 너무 빨라서 IT 밖의 지식노동자들은 회사가 사 준 챗봇 앞에서 빈 화면을 마주한 채 무엇을 해야 할지 모른다. 둘째, 사람의 뇌는 기계가 만든 글을 검토하는 데 서툴다. 세 단어가 세 문단이 되어 돌아오면 그 안에서 자기가 넣은 무언가를 알아보고 괜찮다고 넘겨 버린다. 셋째, 이것이 가능하다고 계속 들어 왔기 때문에 그냥 따라 하고 있다는 것이다.

그가 제시하는 출발점은 내용이 아니라 의도다. 누가 이 글을 읽어야 하는지, 무엇을 알게 하고 싶은지, 어떤 어조여야 하는지를 먼저 정하면 초안은 거칠게 써도 된다. 그가 만든 강연 초록 생성 도구는 깃허브 이슈에 네 가지 질문, 즉 이 강연이 누구를 위한 것인지, 무엇을 배우게 될지, 끝나고 무엇을 할 수 있게 될지, 두 문장 요약은 무엇인지에 답하게 하고 워크플로가 초안 PR을 만든다. 답을 못 쓰겠다면 취소 버튼이 바로 옆에 있다는 것이 그의 농담 섞인 조언이다.

핵심은 그다음의 '맨정신 교정'이다. 그는 LLM에게 다시 고쳐 달라고 하지 않는다. 대신 자연어 처리 라이브러리로 문장의 모든 단어를 표제어로 바꿔 delve, enhance 같은 기피 단어가 있는지 문자열 비교로 찾아내고, 엠대시와 이상한 유니코드도 결정론적으로 검사한다. LLM에게 같은 일을 시켰더니 요청하지도 않은 단어를 스스로 지어내 걸러 버렸기 때문이다. 검사 결과는 경고로 띄우되 '이렇게 고쳐라'가 아니라 '여기에 이런 것이 있다'는 정보로만 제시하고, 실제 수정은 사람이 자기 말투로 직접 한다.

주요 인사이트

• 자동화 편향의 대표 처방 세 가지가 모두 무력하다는 지적은 뼈아프다. 사람의 판단이 문제인데 사람을 한 명 더 끼워 넣는 휴먼 인 더 루프는 법적 책임 소재만 옮길 뿐이고, 원리를 설명해 주는 교육은 오히려 자신감을 키워 실수를 늘린다는 최신 연구까지 인용된다.
• 챗봇이 '이 문서들을 찾았으니 확인해 보라'고 정보만 건네면 비판적 사고가 작동하지만, '이렇게 하시면 됩니다'라고 추천으로 포장하면 그대로 받아들이게 된다. 추천 대신 정보를 제공하라는 설계 원칙이 여기서 나온다.
• 모델 제공자들이 오류 가능성을 숫자로 보여 주지 않는 것도 문제로 지목된다. '실수할 수 있으니 중요한 정보는 확인하라'는 문구는 지표가 아니며, 사용자가 경계심을 갖게 만드는 데 아무 역할도 못 한다.
• 리뷰 대상이 모르는 사람일수록 검토를 덜 하게 된다는 관찰은 풀 리퀘스트와 소셜 미디어 글을 같은 잣대로 보게 만든다. 불특정 다수에게 보내는 글일수록 슬롭이 되기 쉽다는 뜻이다.
• 코드로 만들 수 있는 것은 LLM에 맡기지 말라는 결론이 실용적이다. 표제어 추출 같은 자연어 처리는 몇 번을 돌려도 같은 결과를 주지만, LLM에 같은 검사를 맡기면 결과가 매번 달라진다.

자주 묻는 질문

관련 AI 소식