AI 글 탐지와 차등 프라이버시: 워터마킹이 안 쓰이는 이유와 프롬프트 보호 기법

핵심 메시지

• 워터마킹은 기술적으로 준비됐지만 규제가 없으면 기업이 고객을 잃을 것을 우려해 채택하지 않는다는 것이 발표자의 진단이다.
• 상용 탐지기 팡그램은 사람이 쓴 리뷰 5만 건에서 오탐이 없었지만, 사람이 쓰고 AI로 다듬은 글은 3%를 AI로 잘못 표시했다.
• 그 3%는 대형 학회 규모에서 수천 건의 오판이 되므로, '문장 다듬기만 허용' 같은 학회 정책은 현재 기술로 집행할 수 없다는 결론이다.
• 두 번째 발표는 학습이 아니라 추론 단계, 즉 프롬프트에 넣은 데이터를 차등 프라이버시로 보호하는 방법을 다뤘다.
• 공개 로짓과 비공개 로짓의 차이만 잘라내는 방식으로 토큰당 연산 부담을 100~2,000회에서 4~8회 수준으로 낮췄다고 밝혔다.

쉽게 이해하기

마이크로소프트 리서치 인도의 학술 서밋에서 열린 '컴퓨트와 신뢰' 세션 발표 두 건을 정리했다. 첫 발표는 인도과학원(IISc) 방갈로르의 다니시 프루티 교수가 맡아 AI가 생성한 텍스트를 어떻게 가려낼지 다뤘다. 그는 학생들의 과제 부정행위와 대규모 허위정보, 그리고 기업이 다른 모델의 출력으로 학습하게 되는 문제를 배경으로 들었다.

가장 원리적인 해법은 워터마킹이다. 모델이 다음 단어를 고를 때 어휘를 무작위로 초록·빨강 목록으로 나누고 초록 쪽 단어에 아주 작은 가산점을 준 뒤, 나중에 초록 단어 비율이 통계적으로 지나치게 높은지 검정하는 방식이다. 발표자의 연구에 따르면 정확도 손실은 크지 않지만, 실제 도입은 사실상 없다. 학기가 끝나면 챗봇 사용량이 눈에 띄게 줄 만큼 학생이 큰 고객층이라 기업이 이탈을 두려워하고, 2023년 12월 행정명령으로 7개 기업이 약속했던 워터마킹 계획도 정권 교체 첫날 폐기됐다고 그는 전했다.

그래서 현실에서는 GPTZero, 팡그램 같은 상용 탐지기가 쓰인다. 팡그램은 챗GPT 이전에 사람이 쓴 글과, 같은 주제·같은 도입부·비슷한 길이로 만든 AI 버전을 대량으로 짝지어 분류기를 학습시킨다. 연구팀이 5만 건 규모의 논문 심사평으로 검증하니 사람이 쓴 글에서는 오탐이 나오지 않았고 거의 AI가 쓴 심사평은 모두 잡아냈다. 문제는 사람이 쓰고 AI로 문장만 다듬은 글의 3%가 AI로 분류됐다는 점이다. 논문 3만5천 편, 심사평 10만 건 규모의 학회라면 3천 건이 억울하게 표시되는 셈이다.

두 번째 발표는 인도공과대(IIT) 마드라스의 크리슈나 필루틀라 교수가 맡아 차등 프라이버시를 추론 단계에 적용하는 연구를 소개했다. 지금까지 논의가 학습 데이터 보호에 쏠려 있었다면, 그는 이미 학습된 모델의 프롬프트에 넣는 민감한 데이터에 주목했다. 합성 데이터 생성, 사례 제시 학습, 검색 증강 생성(RAG)이 모두 여기에 해당하며, 기밀 지식베이스를 붙인 RAG가 특정 개인의 정보를 흘릴 수 있다는 것이다.

핵심 아이디어는 두 가지다. 문법이나 흔한 연결어처럼 비공개 데이터 없이도 알 수 있는 정보는 공개 모델의 로짓에서 얻고, 비공개 데이터와의 차이분만 잘라내 노이즈를 건다. 여기에 확률 분포의 꼬리를 잘라 쓰는 자연어처리의 관행을 그대로 반영했다. 그 결과 토큰 하나를 만드는 데 필요한 추론 호출이 100~2,000회에서 4~8회로 줄어 실용 범위에 들어왔다고 그는 설명했다. 발표는 이론적 상한과 별개로 실제 유출량을 공격해 측정하는 감사 기법도 소개했는데, 이런 감사로 널리 쓰이는 오픈소스 라이브러리 13종에서 구현 버그가 발견된 사례가 있다고 전했다.

주요 인사이트

• 탐지기 성능 논쟁의 핵심은 정확도 자체가 아니라 오탐률이다. 1만 건에 1건이라는 수치도 학회나 대학 규모에서는 수천 명의 억울한 사례가 된다.
• 발표자는 탐지기를 스팸 필터에 비유했다. 완벽하지 않아도 유용하지만, 이것만으로 학생을 낙제시키는 대신 추가 확인의 계기로 삼아야 한다는 것이다.
• 워터마킹이 사장된 이유가 기술이 아니라 유인 구조라는 지적은, 표시 의무 같은 제도 논의가 왜 반복되는지 설명해 준다.
• 프라이버시는 정확도와의 2차원 절충이 아니라 프라이버시·성능·연산량의 3차원 절충이라는 정리가 실무 판단에 유용하다.
• 차등 프라이버시가 성립하려면 프롬프트에 넣는 예시들이 서로 통계적으로 독립이어야 한다. 같은 문서를 바꿔 쓴 여러 판본을 함께 넣으면 보장이 깨진다.

자주 묻는 질문

관련 AI 소식