설명가능 AI(XAI) 입문: SHAP·LIME·PFI로 블랙박스 모델 해석하는 법

핵심 메시지

• 설명가능 AI(XAI)는 AI 모델의 결정을 사람이 이해하고 해석할 수 있게 만드는 도구와 기법을 가리킨다.
• XAI는 신뢰 구축, 오류·편향 발견, GDPR 같은 법규 준수, 그리고 의료·금융 등 고위험 영역에서 특히 중요하다.
• SHAP는 협력 게임이론의 섀플리 값에 기반해 개별 예측과 전역 중요도를 모두 공정하게 설명한다.
• LIME은 특정 예측 주변을 단순한 대리 모델로 근사해 개별 예측을 국소적으로 해석한다.
• PFI는 특성 값을 섞어 성능 변화를 관찰함으로써 전역적 특성 중요도를 측정한다.

쉽게 이해하기

영상은 AI가 대출을 거절하거나 치료를 추천하고 자율주행 차를 멈출 때 '왜 그랬는지'를 설명하지 못하는 문제에서 출발한다. 설명가능 AI(XAI)는 바로 이 지점에서 등장하며, AI 모델의 결정을 투명하고 이해 가능하며 해석 가능하게 만드는 도구와 기법을 의미한다.

XAI가 중요한 이유로는 이해관계자와의 신뢰 구축, 모델의 오류와 편향 식별, GDPR 같은 법적 기준 준수, 그리고 신뢰와 책임이 필수인 의료·금융·자율 시스템 같은 고위험 영역에서의 필요성이 꼽힌다. 딥러닝 같은 블랙박스 모델은 정확도는 높지만 결정 과정을 설명하지 못하고 편향을 감사하기 어려워, 신뢰가 중요한 응용에는 적합하지 않다는 한계가 있다.

영상은 대표적인 세 가지 기법을 소개한다. 첫째 SHAP(섀플리 가산 설명)는 협력 게임이론의 섀플리 값을 활용해 모델 출력을 각 특성에 공정하게 분배하는 모델 비종속 기법으로, 개별 예측과 전역 중요도를 모두 설명하고 포스 플롯·워터폴 플롯 등 풍부한 시각화를 제공한다. 아이리스 데이터로 랜덤 포레스트를 학습시키고 트리 설명자로 상호작용 효과를 시각화하는 예시가 함께 제시된다.

둘째 LIME(국소 해석 가능 모델 비종속 설명)은 특정 입력 주변의 데이터를 교란해 예측을 만들고, 그 주변을 단순한 모델로 근사해 개별 예측을 국소적으로 설명한다. 예시에서는 꽃잎 길이와 너비가 특정 표본을 '클래스 1'로 강하게 밀어붙이는 반면 꽃받침 특성의 기여는 미미하다는 점을 수치로 보여준다. 셋째 PFI(순열 특성 중요도)는 특성 값을 무작위로 섞어 성능이 얼마나 떨어지는지를 보고 전역적 중요도를 측정하며, 모델 변경이 필요 없고 구현이 간단하다.

마지막으로 세 기법을 비교한다. SHAP는 국소·전역 해석 모두에 이상적이지만 계산 비용이 크고, LIME은 빠른 개별 설명에 좋지만 전역 통찰이 부족하며 특성 독립성을 가정한다. PFI는 단순하고 효율적인 전역 순위에 적합하나 특성 간 상호작용을 포착하지 못한다. 영상은 EU AI 법과 GDPR처럼 투명성과 책임을 요구하는 규제 흐름 속에서, XAI가 신뢰할 수 있고 투명한 AI 시스템의 미래라고 강조한다.

주요 인사이트

• 정확도와 해석 가능성은 종종 상충한다. 딥러닝 블랙박스는 정확하지만 설명이 어려워, 신뢰가 핵심인 영역에서는 그대로 쓰기 어렵다.
• 세 기법은 추상화 계층이 다르다. SHAP·LIME은 개별 예측을 설명하는 데 강하고, PFI는 전체 모델이 어떤 특성에 의존하는지 보는 데 적합하다.
• 기법 선택은 상황에 달려 있다. 고위험 영역의 투명성에는 SHAP, 신용 승인·의료 예측 같은 즉각적 개별 설명에는 LIME, 특성 선택과 모델 디버깅에는 PFI가 어울린다.
• 설명가능성은 단순한 기술적 편의가 아니라 GDPR·EU AI 법 같은 규제 준수와 직결된 요구사항이 되고 있다.
• 아이리스 예시에서 모델은 꽃잎 길이·너비에 크게 의존하고 꽃받침 특성에는 거의 의존하지 않는데, 이런 사실을 드러내는 것 자체가 모델 디버깅과 신뢰 확보의 출발점이다.

자주 묻는 질문