AI 신뢰도 보정(calibration)이 인간·AI 협업 성과를 바꾼다: 메타인지 연구 발표 정리

핵심 메시지

• 집단이 개인보다 나은 이유는 지식이 더 많아서만이 아니라, 무엇을 얼마나 확신하는지를 서로 주고받기 때문이다.
• 10~15초짜리 짧은 대화만으로도 사람들은 ‘더 확신하는 쪽의 답을 고르는’ 가상 집단보다 더 나은 성적을 냈고, 집단은 개인보다 신뢰도 보정도 더 잘 됐다.
• 현재 AI 시스템의 메타인지 능력은 우연히 생긴 부산물에 가깝다. 모르는 것을 모른다고 말하거나 실수를 되짚는 데 서툴다는 지적이 반복된다.
• 신경망에서 신뢰도를 뽑아내는 방법으로는 출력층의 소프트맥스·온도 스케일링이 흔히 쓰이지만, 실험에서는 견고성에 기반한 방법이 더 잘 보정됐다.
• 정확도가 완전히 같은 두 AI 조언자라도, 자신감이 정확도를 제대로 예측하는 쪽과 협업할 때 사람들이 조언을 더 많이 받아들이고 팀 성과가 좋아졌다.

쉽게 이해하기

미국 국립과학재단(NSF)이 지원하는 사회적 의사결정 AI 연구소의 2025년 워크숍 기조 발표에서, 일리노이대 심리학자 에런 벤저민은 ‘메타인지’를 열쇠로 인간과 AI의 협업을 다시 들여다봤다. 메타인지란 자신이 무엇을 알고 무엇을 모르는지를 아는 능력이며, 그는 이것이 집단 지성과 인간·AI 팀워크 모두를 설명한다고 본다.

출발점은 집단이 개인보다 나은 이유다. 흔히 여러 사람이 모이면 지식이 합쳐지기 때문이라고 설명하고, 소 무게 맞히기부터 허위정보나 피싱 사이트 판별까지 ‘군중의 지혜’ 연구가 이를 뒷받침한다. 그러나 그가 강조하는 것은 자주 간과되는 다른 이유, 즉 사람들이 답만 말하는 게 아니라 왜 그렇게 믿는지와 얼마나 확신하는지를 함께 주고받는다는 점이다.

이를 확인한 실험은 이렇다. 참가자들이 두 개 중 하나를 고르는 상식 문제에 답하고 확신 정도를 매긴다. 연구진은 따로따로 답한 사람들을 짝지어, 무작위로 한 사람의 답을 고르는 기준선과 둘 중 더 확신한 사람의 답을 고르는 ‘메타인지적으로 세련된’ 기준선을 만들고 실제로 대화한 집단과 비교했다. 더 확신한 쪽을 고르는 것만으로도 성적이 크게 올랐지만, 실제로 대화한 집단은 그보다도 나았다. 문제 하나당 대화 시간은 10~15초에 불과했다. 그는 그 이유로 상대가 답에 이른 설명의 질을 듣고 수긍하거나 반박할 수 있다는 점, 확신이 하나의 숫자가 아니라 여러 근거로 나뉘어 있어 서로 부분적으로 취할 수 있다는 점을 든다. 덤으로 얻은 발견은 집단이 개인보다 확신과 실제 정확도의 일치도, 즉 신뢰도 보정이 더 좋았다는 것이다.

여기서 AI로 넘어간다. 그는 헬렌 토너가 쓴 글에서 AI의 난제로 꼽힌 ‘과신’ 문제를 인용한다. 모델은 모르는 것을 모른다고 말할 시점을 잘 모르고, 자신이 틀렸음을 알아채고 되돌리는 데도 약하다. 사람에게 의지가 되는 동료가 되려면 필요한 신뢰도 정보를 전달하는 능력이 있어야 하는데, 지금 모델의 메타인지는 그런 목적으로 설계된 것이 아니라는 지적이다.

그래서 연구진은 신경망에서 잘 보정된 신뢰도를 뽑아내는 방법을 비교했다. 널리 쓰이는 방식은 출력층에 소프트맥스와 온도 스케일링을 적용하는 것이지만, 이들은 ‘견고성’ 개념에 기반한 방법들을 함께 시험했다. 하나는 학습 예시들을 축약한 공간에서 가장 가까운 이웃들을 찾아 다수결과 일치하는 비율로 신뢰도를 매기는 K-최근접 이웃 방식이고, 다른 하나는 같은 이미지를 흐리게 하거나 잡음을 섞어 반복 입력했을 때 답이 얼마나 일관되는지를 보는 방식이다. 마지막은 사람과 AI를 실제로 붙여본 실험으로, 격자에서 검은 칸의 비율을 순간적으로 맞히는 과제를 400회 반복하며 참가자가 자기 추정치와 확신을 말한 뒤 AI의 추정치와 확신을 보고 답을 고칠 수 있게 했다. 두 종류의 AI는 정확도가 똑같았고, 차이는 한쪽만 자신감이 정확도를 제대로 예측했다는 점뿐이었다.

주요 인사이트

• 잘 보정된 AI와 짝을 이룬 사람들은 조언을 받아들이는 비율이 훨씬 높았고, 무시하는 비율은 훨씬 낮았으며, 자기 답과 섞을 때도 AI 의견에 더 큰 비중을 뒀다. 같은 정확도라도 ‘얼마나 확신하는지’를 정직하게 말하는지가 협업의 질을 갈랐다.
• 신뢰도 산출 방식 비교에서 견고성 기반 방법들이 기대 보정 오차와 순위 예측력 양쪽에서 가장 좋았다. 게다가 이 방법들은 확장성이 좋아, 작은 신경망에서 구현해두면 출력 개수나 모델 규모가 달라져도 그대로 일반화하기 쉽다는 실용적 장점이 있다.
• 질의응답에서 나온 지적도 흥미롭다. 이 실험에서 상대가 AI라는 사실 자체는 결정적 변수가 아니었을 수 있다는 것이다. 다만 발표자는 사람들이 AI의 실수를 사람의 실수보다 덜 용서한다는 ‘알고리즘 혐오’ 연구를 언급하며, 의료 진단처럼 실수의 종류가 뚜렷이 갈리는 과제로 확장하면 차이가 드러날 수 있다고 봤다.
• 이 연구가 던지는 실무적 함의는 분명하다. AI 조언자를 더 똑똑하게 만드는 것과 별개로, 자신의 확신을 정직하고 일관된 척도로 표현하게 만드는 일 자체가 팀 성과를 끌어올리는 독립적인 지렛대가 된다.

자주 묻는 질문

관련 AI 소식