영리한 한스 효과와 AI 음악 분류 — 모델이 음악을 이해하지 못하는 이유

핵심 메시지

• '영리한 한스'는 계산을 하는 듯 보였지만 실제로는 질문자의 무의식적 몸짓을 읽던 말이었고, 이 현상이 AI에도 그대로 나타난다.
• 음악 분류 모델은 정답을 맞히더라도 음악적 이유가 아니라 표면적 단서에 반응하는 '지름길 학습'을 한다.
• 오디오를 푸리에 변환(FFT)으로 주파수 성분으로 분해한 뒤 분류를 유지하는 최소 주파수 집합을 찾아 모델의 판단 근거를 추적한다.
• '충분 신호'는 블루스로 들리지 않는데도 모델이 블루스로 분류하게 만드는 최소 신호이고, 일부 주파수를 빼면 분류가 힙합으로 83% 확신과 함께 뒤집힌다.
• 스텀의 14년 전 지적처럼 음악 분류기는 여전히 '말(horse)'에 가깝고, 정확도가 높아도 사람이 음악을 이해하는 방식과는 다르게 작동한다.

쉽게 이해하기

영상은 1890년대 독일의 말 '영리한 한스'에서 시작한다. 한스는 '3 더하기 3'을 물으면 발을 여섯 번 굴러 답하는 듯 보여 수학을 한다고 여겨졌지만, 한 심리학자는 한스가 계산을 한 게 아니라 정답에 가까워질 때 질문자가 무의식적으로 보내는 신호를 읽었을 뿐이라고 봤다. 한스는 영리했지만 셈을 한 건 아니었다.

이 '영리한 한스 효과'는 AI에서 모델이 올바른 답을 내더라도 엉뚱한 근거에 반응하는 현상으로 나타난다. 약 14년 전 밥 스텀은 음악 분류기들이 사실상 '말'이라고 주장했다. 록 음악에 딜레이를 살짝 더하면 모델이 갑자기 레게로 분류하는 식인데, 당시엔 그 이유까지는 밝히지 못했다.

발표자는 인과를 따지기 위해 오디오 신호를 푸리에 변환(FFT)으로 여러 주파수 성분으로 분해한다. 30초 오디오에는 약 24만 개의 주파수 구간이 있어 모든 조합을 시험할 수 없으므로, 신호를 무작위로 덩어리로 나눠 가며 분류에 필요한 부분만 좁혀 가는 분할 정복 방식을 쓴다.

이렇게 찾은 개념이 세 가지다. '충분 신호'는 그것만으로 블루스 분류를 끌어내는 최소 신호인데, 사람 귀에는 전혀 블루스로 들리지 않는다. '완전한 설명'은 충분하면서 동시에 필요한 신호로, 빼 버리면 더 이상 블루스가 아니게 된다. 그리고 그 완전한 신호를 제거하면 남은 소리가 새로운 분류(예: 힙합)로 뒤집히는데, 모델은 그것을 83%라는 높은 확신으로 힙합이라 답했다.

결론은 분명하다. 이 모델은 음악을 사람처럼 듣는 게 아니라 주파수 분석을 하며 때로 엉뚱한 단서를 학습한다. 정확도 자체는 높지만 작동 방식은 사람이 이해하는 음악과 다르다. 스텀이 14년 전 던진 경고는 지금도 유효하며, 오히려 나아지지 않았을 수 있다고 발표자는 말한다.

주요 인사이트

• 높은 정확도가 곧 '제대로 이해함'을 뜻하지 않는다 — 모델은 정답을 맞히면서도 사람이 쓰지 않는 표면적 단서(지름길)에 의존할 수 있다.
• '충분/필요'를 나눠 보는 접근은 설명 가능성의 강력한 도구다. 분류를 유지하는 최소 신호와, 빼면 분류가 바뀌는 신호를 분리해 모델의 실제 근거를 들춰낼 수 있다.
• 모델이 제시하는 confidence(확신도)는 신뢰의 근거가 되기 어렵다 — 사람이 듣기엔 블루스도 힙합도 아닌 소리를 83% 확신으로 힙합이라 단정하기도 한다.
• 지름길 학습은 음악에 국한되지 않는다. 같은 기법으로 이미지 분류기에서 약간의 노이즈가 스테이플러를 노트북으로 바꾸는 사례도 있었다 — 도메인을 가리지 않는 구조적 문제다.

자주 묻는 질문

관련 AI 소식