머신러닝 해석가능성(Interpretability): 적대적 예제·특징 시각화·탱크 탐지 사례로 이해하기

핵심 메시지

• 해석가능성의 목표는 '모델이 무엇을 학습했고, 입력의 어떤 특징이 그 예측을 만들었는가'를 밝히는 것이다.
• 모델은 대상 자체가 아니라 배경 같은 엉뚱한 특징에 의존할 수 있어, 그대로 두면 배포 후 실패 모드가 된다.
• 가중치를 전혀 건드리지 않고도 입력만 미세하게 바꿔 분류기를 속이는 적대적 예제가 가능하다.
• 특징 시각화는 '뉴런/층/로짓이 어떤 입력을 원하는지'를 최적화 문제로 풀어 모델 내부를 들여다보는 기법이다.

쉽게 이해하기

Umar Jamil은 자율주행 사고 사례로 이야기를 연다. 모델이 왜 그런 예측을 했는지 모르면, 예컨대 사람을 '옷 색깔'로만 인식하도록 학습한 모델은 낯선 옷을 입은 사람을 장애물로 인식하지 못할 수 있다. 그래서 해석가능성은 '모델이 무엇을 학습했는가'와 '입력의 어떤 특징·패턴이 특정 출력을 만드는가'라는 두 질문에서 출발한다.

이를 이해하려면 신경망과 역전파의 기본이 필요하다. 영상은 집값 예측 같은 간단한 예로 선형 층이 계산 그래프로 바뀌는 과정, 순전파로 활성값을 계산하고 손실을 구한 뒤 각 가중치에 대한 기울기를 연쇄 법칙으로 구해 손실이 줄어드는 방향으로 파라미터를 갱신하는 흐름을 짚는다.

다음은 '분류기 속이기'다. 모델의 가중치·구조를 전혀 바꾸지 않고 입력 이미지만 조금 바꿔, 개 사진을 사람으로 오인하게 만드는 적대적 예제를 만들 수 있음을 보여준다. 이는 모델이 우리가 기대하는 특징을 보고 있지 않을 수 있다는 위험을 드러낸다.

영상은 Leap Labs 해석가능성 엔진으로 모델이 특정 클래스를 위해 어떤 입력을 원하는지(프로토타입)와 실제 입력의 어느 부분을 쓰는지(특징 격리)를 시연한다. 대표 사례가 탱크 탐지다. 98% 확률로 탱크를 맞히는 듯 보이던 모델이 사실은 탱크가 아니라 '흐린 하늘'을 보고 판단하고 있었다. 학습 데이터의 탱크 사진이 모두 흐린 하늘이었던 탓에 생긴 잘못된 상관관계였고, 다양한 배경의 사진으로 재학습하자 비로소 탱크 자체에 주목하게 되었다.

마지막으로 특징 시각화를 다룬다. 순수한 노이즈에서 시작해 특정 층의 활성이나 특정 클래스의 로짓을 최대화하도록 입력을 역전파로 최적화하면, 모델이 그 예측을 위해 원하는 특징(예: 플라밍고의 긴 목, 거미의 긴 다리)이 드러난다. 다만 결과가 부자연스러워, L1 정규화나 인접 픽셀의 급격한 변화를 억제하는 주파수 페널티 같은 정규화로 자연스러운 이미지에 가깝게 만든다.

주요 인사이트

• 높은 정확도가 곧 '올바른 이유로 맞혔다'는 뜻은 아니다. 탱크 탐지 사례처럼 배경의 우연한 상관관계로도 높은 점수가 나올 수 있다.
• 해석가능성은 실패 모드를 배포 전에 예측하고, 신뢰를 확보하며, 때로는 사람이 놓친 새로운 패턴(예: 의료 영상)을 발견하게 해준다.
• 특징 시각화와 해석 엔진은 결국 '입력을 최적화해 특정 활성/로짓을 최대화'하는 최적화 문제로 환원된다.
• 잘못된 특징에 의존하는 모델은 더 다양한 데이터로 재학습해 대상 자체에 주목하도록 강제하면 개선할 수 있다.

자주 묻는 질문

관련 AI 소식