멜라니 미첼 강연: 벤치마크 점수와 실제 추론 능력의 간극, AI 평가에 필요한 6가지 원칙

핵심 메시지

• 벤치마크 성적은 실제 세계에서의 신뢰성을 잘 예측하지 못한다. 시험을 통과한 모델이 곧 믿을 만한 전문가가 되지는 않는다.
• 높은 점수는 데이터 오염, 유사 문제의 근사적 검색, 지름길 특징 활용처럼 의도와 무관한 경로로도 만들어질 수 있다.
• 인지과학은 아기와 동물이라는 '낯선 지능'을 다루며 통제 실험과 대안 가설 검증의 방법론을 쌓아 왔고, 이 문화가 AI 평가에 부족하다.
• 미첼 연구진의 실험에서 최신 추론 모델은 격자 과제의 답을 맞히면서도, 사람이 의도한 개념과는 다른 규칙을 근거로 답한 경우가 적지 않았다.
• 성능(performance)과 역량(competence)은 다르며, 점수만 보면 능력을 과대평가하거나 반대로 과소평가하게 된다.

쉽게 이해하기

산타페 연구소의 멜라니 미첼은 한 신경과학자가 챗봇의 등장을 두고 '기묘하게 인간처럼 소통하는 외계 지성이 나타난 것 같다'고 표현한 대목에서 강연을 시작한다. 그렇다면 이 지능의 정체는 무엇인가. 지금 업계가 그것을 재는 방식은 벤치마크 점수 비교인데, 문제는 이 점수가 실제 현장의 신뢰성과 잘 이어지지 않는다는 점이다. 변호사 시험이나 의사 면허 시험을 통과한 모델이 있어도 우리는 아직 믿고 맡길 AI 변호사나 의사를 갖지 못했다.

미첼은 벤치마크가 흔들리는 이유를 정리한다. 평가 문제가 학습 데이터에 이미 들어 있는 오염, 똑같지는 않아도 충분히 비슷한 문제에서 답을 끌어오는 근사적 검색, 그리고 지름길 특징의 활용이다. 피부 병변 사진을 분류하던 신경망이 악성 사진에 자주 찍혀 있던 자를 단서로 삼아 맞혔던 사례가 대표적이다. 여기에 인간용 시험을 기계에 그대로 적용하면서 같은 전제가 성립한다고 가정하는 의인화 문제, 그리고 시험이 재려는 능력을 정말 재고 있는지를 묻는 구성 타당도 문제가 겹친다.

강연의 뼈대는 인지과학에서 가져온 여섯 가지 원칙이다. 자신의 의인화 편향을 경계할 것(웃는 것처럼 보이는 원숭이의 표정이 사실은 공포의 표시라는 예), 남과 자신의 가설을 의심할 것, 성공만이 아니라 실패 유형을 분석하고 부정적 결과를 받아들일 것, 벤치마크에 더해 새로운 변형을 만들어 견고성을 시험할 것, 성능과 역량을 구분할 것, 그리고 남의 결과를 재현하고 확장하는 일을 존중할 것이다. 20세기 초 계산하는 말로 유명했던 '영리한 한스'가 실은 질문자의 미세한 표정을 읽고 있었다는 고전적 사례, 그리고 아기의 도덕 판단 실험이 사실은 인형의 작은 튕김 동작에 반응한 것일 수 있다는 후속 연구가 통제 실험의 힘을 보여주는 예로 소개된다.

견고성 시험의 사례로 미첼 연구진은 문자열 유추 과제를 가져온다. 알파벳 순서를 뒤섞은 가상의 알파벳이나 기호 배열로 같은 문제를 옮겨 내면, 사람의 성적은 크게 떨어지지 않는 반면 당시 시험한 모델들의 성적은 뚜렷하게 나빠졌다. 유추 능력을 일반적으로 갖췄다면 낯선 기호 체계에도 적응할 수 있어야 한다는 것이 실험의 논리이며, 미첼은 특정 모델 세대의 우열이 아니라 이런 변형 검사가 평가의 기본 절차가 되어야 한다는 점을 강조한다.

마지막으로 추상 추론 벤치마크 ARC를 다룬다. 미첼 연구진은 개념별로 묶은 480개 과제를 만들어 모델에게 답 격자와 함께 '어떤 변환 규칙을 썼는지'를 말하게 했다. 텍스트 입력에서 성적이 가장 좋았던 추론 모델은 상당수 문제를 맞혔지만, 맞힌 답 가운데 3분의 1가량은 사람이 의도한 개념 대신 색상 값을 정렬하는 식의 기묘한 규칙에 기대고 있었다. 반대로 이미지로 입력했을 때는 규칙은 제대로 말하면서 격자를 잘못 출력하는 일이 잦았다. 규칙에 쓰인 단어를 세어 보니 사람은 '물체'에 관한 표현을 거의 항상 쓴 반면 모델은 칸·행·열 같은 표현에 기울어 있었다. 미첼은 광고판 속 정지 신호를 보고 멈춰 서는 자율주행차 사례를 들며, 우리가 AI에 기대는 것이 인간과 같은 방식의 세계 이해일 때는 정확도만으로는 부족하다고 결론짓는다.

주요 인사이트

• 정답을 맞히는 것과 의도한 추상 개념을 파악하는 것은 별개다. 모델에게 규칙을 말하게 하면 같은 정답 뒤에 전혀 다른 근거가 숨어 있음이 드러난다.
• 낮은 점수 역시 곧바로 능력 부족을 뜻하지는 않는다. 이미지 입력에서 규칙은 맞고 출력만 틀리는 경우처럼, 과제 형식이 능력 발현을 가로막을 수 있다.
• 사람과 모델이 규칙을 설명할 때 쓰는 어휘의 차이는, 두 쪽이 같은 문제를 서로 다른 추상 수준에서 보고 있음을 보여주는 단서가 된다.
• 더 어려운 벤치마크를 계속 만드는 것보다, 기존 과제를 변형해 견고성을 확인하는 더 엄밀한 평가 방법이 필요하다는 것이 강연의 제안이다.
• 재현과 확장 연구를 낮게 평가하는 머신러닝 학계의 심사 문화 자체가 평가의 질을 떨어뜨리는 구조적 원인으로 지목된다.

자주 묻는 질문

관련 AI 소식