AI 생성 증거 사진 판별 실험: 일반인 정답률 64.8%, 최신 모델은 최강 생성기 앞에서 5.9%

핵심 메시지

• 실제 민사 분쟁에서 다투는 증거 사진은 얼굴이 아니라 상한 음식·깨진 기기·영수증 같은 물건이며, 연구팀은 이 상황에 맞춘 데이터셋을 새로 만들었다.
• 일반인 136명의 전체 정답률은 64.8%였지만, 가장 성능이 좋은 생성기가 만든 사진만 놓고 보면 48.5%로 동전 던지기보다 낮았다.
• 최신 멀티모달 모델 네 종은 진짜 사진 800회 판정에서 오거부가 한 건도 없었던 대신, 최강 생성기의 합성 사진은 평균 5.9%만 잡아냈다.
• 합성 사진 탐지 전용 도구 세 종은 각각 0%, 1.2%, 9.2%에 그쳤고, 모델을 여러 개 합쳐도 같은 사진에서 함께 틀렸다.
• 연구팀의 결론은 판별 정확도를 올리자는 것이 아니라, 사진의 출처를 기록으로 남기는 쪽으로 옮기자는 것이다.

쉽게 이해하기

지난해 9월 캘리포니아 알라메다 카운티 법원에서 민사 사건 하나가 통째로 각하됐다. 원고가 제출한 증인 영상이 생성형 AI로 만들어진 것이었기 때문이다. 판사가 알아챈 단서는 증인의 얼굴이 거의 움직이지 않고, 표정과 버릇이 몇 초마다 반복되며, 목소리가 끊기고 단조롭다는 점이었다. 기계가 아니라 사람이 눈으로 잡아낸 사례였다.

그렇다면 사람은 이런 사진을 얼마나 자주 가려낼 수 있을까. 몬트리올 대학과 맥길 대학 법학부 연구팀은 이 질문을 정면으로 실험했다. 기존 딥페이크 연구가 대부분 얼굴에 집중해 온 것과 달리, 실제 분쟁에서 오가는 증거는 제품 하자, 상한 음식, 찢어진 옷, 깨진 전자기기, 긁힌 자동차, 영수증처럼 물건이다. 연구팀은 진짜 증거 사진 200장을 모으고 그것을 재현하는 프롬프트로 최신 생성기 여섯 종에서 1,200장을 만들어 짝이 맞는 데이터셋을 구성했다.

일반인 136명이 한 사람당 여러 장씩 모두 2,720번 판단한 결과 전체 정답률은 64.8%였다. 눈여겨볼 대목은 틀리는 방향이다. 진짜 사진을 가짜라고 거부한 비율과 가짜 사진을 진짜로 받아들인 비율이 거의 같아서, 판단 기준을 어느 쪽으로 옮겨도 전체 성적이 좋아지지 않는다. 더 중요한 것은 정답률을 좌우한 변수가 보는 사람의 눈썰미가 아니라 상대가 어떤 생성기를 썼느냐였다는 점으로, 생성기별 정답률 격차가 44.5%포인트에 달했다.

최신 멀티모달 모델 네 종의 성적은 정반대 방향으로 무너졌다. 진짜 사진 800회 판정에서 진짜를 가짜라고 부른 경우가 한 건도 없었지만, 합성 사진을 잡아낸 비율은 32%에서 58% 사이였고 가장 강한 생성기가 만든 사진 앞에서는 평균 5.9%까지 떨어졌다. 100장을 보여주면 94장을 진짜라고 답하며, 그것도 확신을 가지고 답한다는 뜻이다.

그나마 효과가 확인된 것은 훈련이었다. 미국 정부 소속 정보 분석관 32명을 대상으로 30분 동안 실제 사진과 AI 사진 50장을 놓고 패턴을 짚어 준 별도 실험에서, 정확도가 기준선 72%에서 9%포인트 올랐다. 오른 부분은 대부분 진짜 사진을 진짜로 알아보는 쪽이었고 그 폭이 14.2%포인트였다.

주요 인사이트

• 사람과 모델은 서로 다른 사진에서 틀린다. 모델은 질감·그림자·원근을 정확히 읽지만 '사람이 이런 장면을 실제로 찍을까'를 묻지 않는다. 탄 토스트가 생토마토와 한 접시에 담긴 합성 사진을 참가자들은 생활 경험으로 걸러냈지만 모델은 전부 진짜라고 판정했다.
• 사람이 가장 못한 범주는 영수증으로, 진짜 영수증의 51.3%를 가짜라고 거부했다. 근거로 적은 접힌 자국, 휜 종이, 어긋난 글자 정렬은 모두 감열지의 정상적인 특성이다. 못 봐서 틀린 것이 아니라 너무 꼼꼼히 봐서 틀린 셈이다.
• 모델을 여러 개 합치는 방식은 해법이 되지 못한다. 서로 다른 회사가 만든 모델인데도 맞고 틀리는 패턴의 상관이 0.66~0.84였고, 합성 사진의 38.8%를 네 모델이 전부 놓쳤다. 서로 독립이었다면 9.9%여야 할 수치다.
• 사람과 모델의 상관은 0.26~0.34로 낮아 서로를 보완한다. 모델 다수가 틀린 사진의 18.8%를 사람이, 사람 다수가 틀린 사진의 10.4%를 모델이 살렸다. 그래도 15.2%는 양쪽 모두 틀렸다.
• 워터마크에도 구멍이 세 개 있다. 모든 상용 생성기가 채택한 것이 아니고, 각자 컴퓨터에서 돌리는 공개 모델은 아예 대상 밖이며, 붙은 표시도 로컬 모델로 한 번 더 통과시켜 살짝 다시 그리면 눈에는 똑같은데 표시만 사라진다.

자주 묻는 질문

관련 AI 소식