의료 AI와 LLM의 한계: 모델 편향과 데이터 오염, 검증을 말한 메이오클리닉 연구자 인터뷰

핵심 메시지

• 의료 영상 AI의 관심사는 딥러닝 모델 경쟁에서 평가와 편향 검증으로, 다시 배포 플랫폼을 거쳐 현재의 생성형 모델과 LLM으로 옮겨왔다.
• 편향은 제거보다 발견이 어렵다. 자기 데이터를 나눠 시험하는 것만으로는 실제 환경에서 나타나는 편향이 끝내 드러나지 않는다.
• LLM은 수치 요약에 약하고 존재하지 않는 인용까지 만들어내므로, 100퍼센트 요약이 가능하다는 식의 주장은 그 자체로 검증 대상이다.
• 수백 건 규모의 오염된 예시를 학습 데이터에 섞는 것만으로 모델을 오염시킬 수 있고, 일반적인 정량 지표로는 이상이 드러나지 않는다.
• 의료 전문가에게 필요한 것은 코딩 능력이 아니라 무엇이 AI로 풀리고 무엇이 풀리지 않는지, 그리고 결과를 어떻게 검증하는지에 대한 이해다.

쉽게 이해하기

이 인터뷰의 주인공은 메이오클리닉 애리조나에서 AI와 헬스케어 연구를 하는 이몬 배너지 부교수다. 여러 종류의 의료 데이터를 함께 다루는 멀티모달 융합과 의료 AI 모델의 편향 완화가 주된 연구 주제다. 손목 관절의 자기공명영상을 분석하는 박사과정 연구에서 출발해 스탠퍼드와 에모리를 거치며, 자연어 처리와 컴퓨터 비전을 함께 쓰는 의료 데이터 연구로 옮겨왔다.

북미 방사선학회의 흐름을 보면 의료 AI의 관심사가 어떻게 이동했는지 드러난다. 2015~2016년에는 합성곱 신경망으로 분류와 분할을 하는 연구가 대부분이었지만, 성능 평가와 일반화, 모델 편향과 집단 간 격차를 제대로 보이지 않으면 소용이 없다는 인식이 퍼졌다. 2019~2020년에는 만든 모델을 실제 진료 현장에 배포하는 플랫폼이 주목받았고, 지금은 생성형 모델과 LLM이 논의를 뒤덮었다. 연구가 진료로 넘어가는 길도 두 갈래인데, 기관 내부 도구는 의사에게 두 번째 의견을 주는 형태로 먼저 쓰이며 실제 데이터에서 성능을 확인한 뒤 승인 절차를 밟는 반면, 외부 업체 제품은 처음부터 검증과 승인을 거쳐야 한다.

가장 큰 걸림돌로 꼽은 것은 공정성이다. 인구 구성이 다양한 나라에서도 모델은 대개 한두 기관의 동질적인 환자 집단으로 학습되기 때문에, 처음 보는 집단에서 성능이 보장될 리 없고 한 제품의 실패가 AI 전체에 대한 불신으로 번진다. 피부암 진단 모델이 대표적인 예로, 피부과 교과서의 사진부터 백인 위주라 학습 데이터도 그렇게 기울어져 있고 어두운 피부에서는 위양성이, 백인에서는 더 위험한 위음성이 늘어나는 경향이 나타난다. 배너지는 모든 집단에서 작동하지 못한다면 최소한 어떤 집단에서는 검증되지 않았다고 명시하라고 말한다.

편향 이야기에서 가장 인상적인 대목은 흉부 X선으로 심혈관 질환 위험을 예측한 연구다. 모델이 여성 환자에서 유독 실패해 그 편향을 제거했더니, 이번에는 호르몬 치료로 유방 조직이 생긴 남성 환자에서 다시 실패했다. 편향을 없애는 계산 기법은 데이터 표본 조정부터 후처리까지 여러 가지가 있지만, 정작 어려운 것은 무엇이 편향인지 알아내는 일이라는 그의 말이 이 사례에서 확인된다. 그래서 자신이 가진 데이터를 나눠 시험하는 것만으로는 부족하고, 학습에 쓰지 않은 실제 환경에 모델을 내보내야 진짜 편향이 보인다고 강조한다.

LLM에 대해서는 무조건 믿는 쪽과 전혀 믿지 않는 쪽 사이에서 접점을 찾아야 한다고 말한다. 복잡한 판독문을 미세조정 없이 100퍼센트 요약할 수 있다는 주장이 나오지만 언어 모델이 수치 정보를 요약하는 데 약하다는 것은 알려진 사실이고, 존재하지 않는 인용을 그럴듯하게 만들어내기 때문에 글을 쓰는 데 쓰는 순간 모든 근거를 검증할 책임이 오히려 커진다. 연구팀은 학습 데이터에 수백 건의 오염된 예시를 섞는 공격과 모델 가중치를 직접 편집하는 공격을 시연했는데, 일반적인 자동 평가 점수로는 아무 이상이 보이지 않는데도 특정 상황에서만 오염된 답이 나왔다. 그럼에도 자동화 여지는 분명해서, 판독문의 임상 이력 정리나 소견 요약처럼 이미 있는 정보를 찾아 줄이는 작업은 맡길 수 있지만 영상에서 소견을 읽어내는 부분은 사람이 맡아야 한다는 것이 그의 구분이다.

주요 인사이트

• 알고 있는 편향은 다룰 수 있지만 모르는 편향은 위험하다. 질병과 인구 집단의 관계를 알고 반영하는 것과, 모델이 왜 그렇게 예측하는지 모르는 채 두는 것은 전혀 다른 문제다.
• 자기 데이터에서 떼어낸 검증 집합만으로는 실제 편향을 찾을 수 없다. 통제된 환경에서 시험하면 통제된 결과만 얻는다.
• 한 제품의 실패가 AI 전체의 실패로 읽히는 것이 현장의 가장 큰 신뢰 문제다. 왜 그 모델이 그 환경에서 실패했는지 설명할 수 있어야 한다.
• LLM으로 글이나 심사를 대신하는 것 자체보다, 인용과 수치까지 전부 확인해야 하는 책임이 사용자에게 넘어온다는 점이 더 무겁다.
• 일자리가 사라지는 것이 아니라 반복 업무가 빠지면서 일의 성격이 달라진다. 환자 이력을 찾아 옮겨 적는 일에 전문의가 필요하지는 않다.

자주 묻는 질문

관련 AI 소식