AI 분류기 정확도 추정: 정답 데이터 없이 전문가 평가의 한계를 넘는 세 가지 방법

핵심 메시지

• 정답 데이터가 없다고 전문가 평가를 정답 대용으로 쓰는 관행은 생각보다 위험하며, 전문가 판단은 단순한 계산 규칙보다 확실히 낫다고 보기 어렵다.
• 가장 무서운 함정은 전문가가 틀렸는데도 그 전문가와 잘 맞는 모델이 나와 높은 정확도라는 착시가 생기는 경우다.
• 평가자 간 일치도를 쓰는 흔한 관행에는 이미 전문가 독립성과 동일한 오류 구조라는 가정이 깔려 있고, 그 가정을 그대로 쓰면 정확도를 역산할 수 있다.
• 정답에만 의존하고 모델 예측과는 무관한 '조건부 독립 변수'가 있으면, 정답 없이도 ROC 곡선을 추정하고 심지어 분류기를 학습시킬 수도 있다.
• AI 단독 정확도보다 중요한 것은 AI와 사람이 함께 판단했을 때의 결과이며, 특히 '사람 혼자였다면 맞혔을 판단을 AI가 뒤집은 사례'를 따로 세어야 한다.

쉽게 이해하기

발표자는 비영리 연구기관 MITRE의 AI·의사결정 과학자로, 정답 데이터가 없는 상황에서 AI 분류기의 정확도를 어떻게 추정할 수 있는지를 다뤘다. 그는 자신이 학계형 연구자가 아니라 문제를 만나면 방법을 만들고 다음 과제로 넘어가는 쪽이라며, 마무리하지 못한 채 남겨 둔 아이디어들을 청중이 이어받아 연구해 주기를 바란다는 취지로 발표를 시작했다. 먼저 그는 전문가 판단에 관한 심리학 연구를 인용해 경고한다. 전문가의 판단이 인상적으로 정확한 경우는 드물고, 변수 몇 개짜리 단순한 선형 모델보다 나은 경우는 사실상 없다는 것이다. 평가자끼리 의견이 갈리는 일도 흔한데, 그렇다고 한자리에 모아 토론시키는 것은 오히려 최악의 선택으로 알려져 있다. 다만 그는 이 결론이 정답이 확인되는 '문제 해결형' 과제가 아니라 정답이 없는 '판단형' 과제에 주로 해당한다고 선을 그었다.

여기서 그가 짚는 진짜 위험은 두 가지다. 하나는 배포한 뒤에야 실제로는 잘 작동하지 않는다는 사실을 알게 되는 경우, 다른 하나는 높은 정확도 자체가 착시인 경우다. 전문가의 판단은 단순한 선형 규칙으로 흉내 낼 수 있는 경우가 많아, 딥러닝 모델은 전문가가 옳든 그르든 그 판단을 어렵지 않게 재현한다. 그 결과 형편없는 모델이 전문가 기준으로는 훌륭해 보이는 상황이 만들어지는데, 정답 데이터가 없으니 그 사실을 알아챌 방법도 없다.

첫 번째 방법은 전문가들의 불일치 자체를 정보로 쓴다. 평가자 간 일치도 통계가 높으면 전문가가 정확하다고 보는 흔한 관행이 성립하려면 어떤 조건이 필요한지 역으로 따져, 전문가가 서로 독립적이고 같은 오류 구조를 가진다는 가정을 끌어냈다. 그 가정 위에서 각 사례의 정답 확률 분포를 추정하고, 분류기가 그 확률과 얼마나 자주 일치하는지를 비교해 정확도를 역산한다. 시뮬레이션에서는 60% 정확도의 전문가만으로 90% 정확도의 분류기를 제대로 잡아냈고, 가정을 일부러 깨뜨리면 추정치가 평균 쪽으로 밀려 보수적으로 나왔다.

두 번째 방법은 전문가조차 필요 없다. 의료 검사처럼 모델의 예측과는 무관하고 오직 실제 정답에만 반응하는 변수, 즉 조건부 독립 변수를 확보하면 정답 없이도 ROC 곡선을 추정할 수 있다는 것이다. 더 놀라운 보너스는 그런 변수만으로 분류기를 학습시켜도 정답으로 학습한 모델과 거의 같은 성능이 나온다는 관찰이다. 오류율 20%짜리 변수로 학습한 모델이 정작 그 변수와는 75%밖에 일치하지 않으면서 실제 정답과는 90% 넘게 맞았고, 발표자는 이 격차 자체가 정확도를 역산할 단서라고 설명했다.

세 번째는 현재 진행 중인 작업으로, 전문가 정확도와 AI–전문가 일치율, 기저율, 그리고 둘의 판단이 얼마나 다른지를 나타내는 상보성을 함께 넣어 AI의 민감도와 특이도를 추정한다. 여기서 그는 재난 대응 사례를 든다. 드론 영상으로 건물 피해를 자동 판정해 구조 인력을 먼저 보내는 상황에서, 전문가 혼자였다면 '파괴됨'이라고 판단했을 건물을 AI가 설득해 넘어가게 만든 경우가 생길 수 있다. 드물지만 대가가 매우 큰 이 사례를 그는 별도로 계산해야 한다고 강조했다.

주요 인사이트

• 발표자는 정답과 전문가 평가가 모두 들어 있는 데이터셋을 찾지 못했다고 말한다. 정답이 있으면 굳이 비용을 들여 전문가 평가를 모을 이유가 없기 때문인데, 그래서 이 착시가 실제로 얼마나 흔한지조차 아직 실증되지 않았다.
• 첫 번째 방법에는 나중에야 발견한 결함이 있다. 전문가의 오류율을 흔들어 방법을 깨뜨리려던 실험이 우연히 조건부 독립에 대칭 오차를 가진 구조를 만들어 버려, 오류율을 아무리 바꿔도 결과가 흔들리지 않았던 것이다.
• 전문가 평가로 학습한 모델을 평가할 때, 민감도와 특이도 추정치가 기저율에 따라 달라지는 현상이 나타난다. 발표자는 이를 두고 평생 배운 전제가 그대로 성립하지 않을 수 있다고 표현했다.
• AI와 사람의 조합이 각자보다 정확해지는 조건은 둘이 서로 다른 답을 내놓을 여지가 얼마나 있는지, 그리고 의견이 갈렸을 때 맞는 쪽을 고르는지에 달려 있다. 전문가 평가를 그대로 흉내 내도록 학습한 모델은 이 여지가 거의 0에 가깝다.
• 실용적 응용으로 그는 기존 의료 검사 결과를 발판 삼아 새 검사의 정확도를 정답 확보 전에 미리 가늠하는 시나리오를 제시했다.

자주 묻는 질문

관련 AI 소식