의사 자동화 편향 임상시험 — AI 리터러시 교육 20시간에도 진단 정확도 14%p 하락

핵심 메시지

• 20시간짜리 AI 리터러시 교육을 모두 이수한 의사 44명을 대상으로 한 사전등록 무작위 임상시험에서, 오류가 섞인 AI 제안을 받은 처치군의 진단 추론 정확도는 73.3%로 대조군 84.9%보다 조정 기준 14%p 낮았다.
• 두 군의 AI 조회율은 68.9%와 66.7%로 통계적 차이가 없었다. AI를 덜 봐서가 아니라 똑같이 열어보고도 심어 놓은 오류를 걸러내지 못한 결과다.
• 임상 경력 10년 이상 집단의 하락폭이 16.6%p로, 경력이 그보다 짧은 집단의 9.1%p보다 컸다. 경력이 방패가 되지 못했다.
• 저자들은 AI 교육이 자동화 편향의 안전장치로 자주 홍보되지만 사전 교육만으로는 부족하며, 출처 표시와 불확실성 신호를 담은 인터페이스와 기관 차원의 감독이 함께 필요하다고 결론지었다.
• 영상은 이 결과를 '사람에게 거부권이 있다는 것과 그 사람이 거부권을 실제로 쓸 수 있는 화면 앞에 앉아 있다는 것은 다르다'는 문장으로 정리한다.

쉽게 이해하기

의사에게 AI를 쥐여주기 전에 무엇을 해야 하느냐고 물으면 대개 교육이라는 답이 돌아온다. 한 연구팀이 그 답을 직접 시험대에 올렸다. 20시간짜리 AI 리터러시 교육을 마친 의사들에게 일부러 틀린 AI 진단 제안을 건네고, 그들이 오류를 걸러내는지를 측정한 것이다.

설계는 단단한 편이다. 사전등록된 단일맹검 무작위 임상시험으로, 참가자를 1대 1로 배정하고 모집 전에 설계와 통계분석 계획을 등록소에 올려 결과를 본 뒤 분석을 손댈 여지를 미리 막았다. 파키스탄의 여러 의료기관에서 의사 44명이 참여해 처치군 22명, 대조군 22명으로 나뉘었고, 자격 조건은 전원이 20시간 교육을 이수했을 것이었다. 교육 내용은 언어 모델이 무엇을 할 수 있는지, 프롬프트를 어떻게 쓰는지, AI 출력을 어떻게 비판적으로 평가하는지였고 임상 경력 중앙값은 10년이었다.

과제는 임상 사례 여섯 개를 75분 안에 진단하는 것으로, 참가자당 여섯 건이니 전체 264건이었다. 대조군은 손대지 않은 AI 제안을 봤고, 처치군은 여섯 개 중 세 개에 의도적 오류가 심긴 제안을 받았다. 오류의 위치는 무작위로 섞어 패턴을 눈치채지 못하게 했고, 오류 자체는 유능한 의사라면 잡아낼 수 있되 대충 보면 놓칠 수준으로 조정했다. AI 열람은 강제가 아니라 직접 눌러야 열리는 자발적 방식이었고, 논문 데이터베이스 검색도 허용하되 검색 결과에 딸려오는 AI 요약만 확장 프로그램으로 차단해 노출을 통제했다.

결과는 대조군 84.9%, 처치군 73.3%였고 조정한 차이는 14%p, P값은 0.001보다 작았다. 가장 그럴듯한 진단 하나만 놓고 보면 90.5%에서 76.1%로 격차가 18.3%p까지 벌어졌다. 채점은 블라인드 처리된 의사 세 명이 각각 맡았고 평가자 간 일치도 0.93, 채점 도구의 내적 일관성 0.8로 채점 쪽에서 흔들릴 여지는 크지 않았다.

하위 집단에서는 경력 10년 이상의 하락폭이 더 컸고, 언어 모델을 주 1회 이상 쓰는 사람들의 하락만 통계적으로 유의했다. 저자들은 익숙한 판단 습관과 기술에 대한 과신, 그리고 두 가지 메커니즘을 짚는다. 답이 이미 나와 있으면 사람이 무의식적으로 노력을 줄이는 인지적 절약, 그리고 확률 수치 같은 딱딱한 출력 대신 잘 쓰인 서술로 답하는 형식이 만들어내는 권위다.

주요 인사이트

• '사람이 검토한다'는 조건은 그 자체로 안전장치가 되지 못한다. 이 연구에서 의사들은 AI를 볼지 말지 스스로 정할 수 있었고 거부할 권한도 있었지만, 여섯 사례 중 세 개에 심어 놓은 오류가 그대로 진단에 실렸다.
• 실험 조건은 실제 진료실보다 오히려 유리했다. 20시간 교육을 받았고, 시간에 쫓기지 않았으며, 환자가 앞에 있지도 않았고, 기존 자료도 그대로 쓸 수 있었다. 그런데도 결과는 이랬다.
• 영상 진행자는 자신이 열두 편에 걸쳐 반복해 온 '사람이 검토하는 자리에 있으면 시스템이 산다'는 문장을 이번 회차에서 직접 수정한다. 검토자가 있는 것으로는 부족하고, 그 사람이 근거를 확인할 수밖에 없게 화면을 만들어야 한다는 것이다.
• 앞선 회차에서 소개된 시스템은 항목마다 판정의 근거가 된 학생 문장을 화면에 직접 표시해 근거를 보지 않고는 넘어갈 수 없게 만들었고, 조교들이 판정의 11.3%를 뒤집었다. 이번 연구에는 그런 장치가 없었다는 점이 두 결과를 가른 지점으로 지목된다.
• 저자들이 스스로 적은 한계는 여섯 가지다. 목표했던 50명의 88%인 44명, 파키스탄 한 나라, 실제 환자가 아닌 임상 사례 여섯 개, 의사 패널이 인위적으로 심은 오류, 단일 세션, 모델 하나. 여기에 완화 방법을 검토하지 않았다는 점까지 더해, 문제를 보였을 뿐 해법을 시험하지는 않았다.

자주 묻는 질문

관련 AI 소식