머신러닝의 기묘하고 반직관적인 사실 정리: 적대적 예제부터 드롭아웃과 앙상블, 환각까지

핵심 메시지

• 이미지에서 점 하나만 바꿔도 모델의 판단이 완전히 뒤집히는 적대적 예제는 만들기 쉽고 현실 세계에서도 통한다.
• 신경망은 사람과 전혀 다른 단서로 사물을 알아본다. 개를 판별하면서 정작 배경의 잔디에 주목하는 식이다.
• 모델의 확신도는 정확도와 무관하다. 99.9%의 확신으로 가족사진을 희귀 버섯이라고 답할 수도 있다.
• 노이즈 추가나 드롭아웃처럼 일부러 방해하는 기법이 오히려 일반화 성능을 높이고, 지나치게 깨끗한 데이터로 배운 모델은 현실에서 취약해진다.
• 더 크고 더 많은 것이 항상 낫지는 않다. 단순한 결정 트리가 복잡한 신경망을 이기기도 하고, 데이터를 늘렸다가 성능이 떨어지기도 한다.

쉽게 이해하기

영상은 머신러닝이 대중의 상상보다 훨씬 기묘하다는 이야기로 시작한다. 대표적인 사례가 적대적 예제로, 거의 완벽한 정확도로 이미지를 분류하던 신경망도 픽셀 하나만 바꾸면 전혀 엉뚱한 물체로 답할 수 있는데 이런 공격은 만들기가 놀랄 만큼 쉬운 데다 실제 환경에서도 작동한다. 더 근본적인 문제는 모델이 애초에 사람과 다른 곳을 본다는 데 있어서, 개를 알아볼 때 얼굴이 아니라 배경의 잔디를 근거로 삼기도 한다. 발표자는 이를 얼굴 대신 신발끈으로 친구를 알아보는 것에 비유하며, 여기에 더해 모델이 TV 잡음 같은 무작위 화면에서도 특정 사물을 자신 있게 찾아내는 실리콘 버전의 파레이돌리아를 보인다고 덧붙인다.

확신도와 정확도가 별개라는 점도 반복해서 강조된다. 높은 확신은 학습한 패턴과 강하게 맞아떨어졌다는 뜻일 뿐, 그 패턴이 말이 되는지와는 상관이 없다. 비슷한 맥락에서 모델은 수학을 이해하지 않고도 문제 형식의 패턴이나 배치의 미묘한 힌트를 이용해 복잡한 문제를 맞힐 수 있다. 성능이 곧 이해는 아니라는 이야기다.

반대 방향의 놀라움도 있다. 신경망은 수천 개 변수의 상관관계를 동시에 훑기 때문에 훈련된 전문가가 놓친 신호를 잡아내기도 하고, 의료 영상에서 사람이 알아채지 못한 질병 지표를 찾아내기도 한다. 다만 대가가 따른다. 모델이 무엇을 근거로 그런 결론에 도달했는지 만든 사람조차 설명하지 못하는 경우가 있다. 사람이 3차원에 머무는 동안 모델은 수백, 수천 차원의 공간에서 사고하기 때문이다.

학습 기법 쪽으로 가면 직관이 더 크게 흔들린다. 훈련 데이터에 일부러 노이즈를 섞고 회전과 흐림을 더하면 모델이 지름길 대신 견고한 특징을 배우게 된다. 훈련 중 신경망 일부를 무작위로 꺼 버리는 드롭아웃도 마찬가지다. 교과서에서 임의의 몇 쪽을 빼고 시험을 보게 하는 것처럼, 모델은 같은 결론에 이르는 여러 경로를 확보하게 된다. 낡거나 편향된 지식을 의도적으로 잊게 하는 선택적 망각도 쓸모가 있는 반면, 의도치 않게 일어나는 파국적 망각은 성능을 해친다.

규모와 우연에 얽힌 이야기도 이어진다. 완전히 같은 구조와 데이터로 학습해도 초기값의 미세한 차이가 전혀 다른 모델을 만들어 재현성을 어렵게 하고, 데이터를 보여주는 순서만 바꿔도 결과가 달라진다. 훈련 도중 성능이 일시적으로 나빠지는 구간은 실패가 아니라 더 깊은 적응의 신호인 경우가 많다. 마지막으로 위조범과 탐정처럼 경쟁하며 함께 성장하는 GAN, 평범한 모델 여럿이 뛰어난 모델 하나를 이기는 앙상블, 강화학습에서 일부러 무작위 선택을 섞는 탐험, 그리고 편향과 환각 같은 위험까지 짚으며 영상은 마무리된다.

주요 인사이트

• 성능이 곧 이해는 아니다. 문제의 형식이나 배치에서 힌트를 얻어 정답을 맞히는 지름길 학습이 존재하는 한, 벤치마크 점수만으로 모델이 개념을 이해했다고 결론 내릴 수 없다.
• '망가뜨려서 강해진다'는 원리는 여러 기법을 관통한다. 노이즈 증강, 드롭아웃, 용량을 일부러 제한해 암기 대신 일반 패턴을 배우게 하는 방식이 모두 같은 계열이다.
• 무작위성은 버그가 아니라 도구인 동시에 골칫거리다. 초기값과 데이터 순서가 결과를 바꿔 재현성을 흔들지만, 강화학습에서는 가끔 최선이 아닌 선택을 해야 더 나은 전략을 발견한다.
• 복잡함이 언제나 답은 아니다. 단순한 결정 트리가 정교한 신경망을 이기는 경우가 있고, 학습 데이터를 늘렸다가 기존 지식과 충돌해 오히려 나빠지기도 한다.
• 환각은 거짓말이 아니라 생성의 부산물이다. 모델은 학습한 패턴을 근거로 그럴듯한 것을 만들어 낼 뿐이며, 문제는 그 결과가 사실이든 아니든 똑같은 확신으로 제시된다는 데 있다.

자주 묻는 질문

관련 AI 소식