설명가능 인공지능(XAI) 쉽게 보기: GDPR 설명 요구권과 딥러닝 기여도 분석까지

핵심 메시지

• 맥킨지는 2013년 지식 노동 자동화가 2025년까지 5조 2000억~6조 7000억 달러 규모의 영향을 미칠 것으로 내다봤고, 데이터를 수집·처리하는 규칙적 직무일수록 60~78%까지 영향을 받는다고 예측했다.
• 2018년 우버 자율주행차 사망 사고는 시스템이 언제 제대로 작동하지 못하는지에 대한 안전 가이드라인이 없을 때 어떤 일이 벌어지는지 보여 준 사례로 제시된다.
• GDPR은 자동화된 의사결정을 거부할 권리와 그 결정 이유를 사람이 이해할 수 있게 설명받을 권리를 규정하며, 위반 시 전 세계 매출의 약 4%까지 과징금이 부과될 수 있다.
• 딥러닝은 각 층이 선형 결합으로 이뤄져 있다는 점을 이용해, 최종 판단의 기여도를 층마다 거꾸로 나눠 입력 픽셀까지 되돌리는 방식으로 설명할 수 있다.
• 모델은 아무도 지시하지 않은 민감한 속성까지 스스로 학습할 수 있어, 차별을 막으려면 판단 근거를 설명할 수 있어야 한다.

쉽게 이해하기

이 강의는 카오스재단이 2026년 콘서트를 앞두고 6년 만에 다시 공개한 인공지능 강연의 첫 부분으로, 설명가능 인공지능이 왜 필요한지를 사회적 파급 효과에서부터 풀어 간다. 강연자는 맥킨지가 2013년 내놓은 예측을 인용해 지식 노동 자동화가 2025년까지 5조 2000억~6조 7000억 달러 규모의 영향을 낳을 것이라고 소개한다. 직군별로 보면 사람을 설득하는 영업이나 관리 업무는 20% 안팎만 영향을 받는 반면, 데이터를 모으고 처리하는 규칙적인 업무는 60~78%까지 영향을 받을 것으로 전망됐다.

문제는 AI 시스템이 삶에 깊이 들어올수록 우리가 그 작동 방식을 충분히 이해하지 못한다는 점이다. 강연은 2018년 우버 자율주행차가 어두운 시간대 횡단보도에서 낸 사망 사고를 예로 든다. 당시 차량이 언제 제대로 작동하지 못하는지, 어떤 안전 지침을 지켜야 하는지에 대한 기준이 없었고, 차 안의 안전 관리자는 TV를 보고 있었다고 한다.

금융은 설명 가능성이 곧바로 규제와 맞물리는 영역이다. 미국에서는 대출이나 심사가 거부되면 그 이유를 사람이 이해할 수 있는 수준으로 설명해야 하고, 유럽연합의 일반 개인정보 보호 규정(GDPR)은 2018년 5월 발효되면서 잊힐 권리, 자동화된 의사결정을 거부할 권리, 그리고 알고리즘이 내린 결정의 이유를 설명받을 권리를 함께 담았다. 설명하지 못하면 전 세계 매출의 약 4%까지 과징금이 부과될 수 있어, 국내외 대기업 모두 알고리즘 설명 문제에 관심을 두게 됐다.

강연은 편향과 설명 가능성을 함께 보여 주는 사례로 얼굴 이미지 모델 연구를 든다. 옥스퍼드대에서 만든 얼굴 인식 딥러닝 모델을 이용해 스탠퍼드대가 2017년 성적 지향을 판별하도록 학습시켰더니 83%, 높게는 91%까지 맞혔다는 것이다. 문제는 소셜 네트워크가 비지도 학습으로 친구를 추천할 때, 아무도 지시하지 않았는데 모델이 이런 속성을 스스로 구분해 버릴 수 있다는 점이다. 이용자가 "나는 밝힌 적이 없는데 어떻게 알았느냐"고 물어도 딥러닝은 이유를 내놓기 어렵다.

그렇다면 수천만 개의 뉴런을 가진 딥러닝을 정말 설명할 수 있을까. 강연은 독일 베를린 빅데이터 센터 연구팀이 개발한 계층별 기여도 전파(Layer-wise Relevance Propagation) 기법을 소개한다. 자동차 가격을 엔진 크기, 마력, 최고 회전수, 차고의 선형 결합으로 예측하는 단순한 모델에서는 각 입력이 최종 가격에 얼마나 기여했는지 곱셈으로 바로 계산된다. 딥러닝도 층마다 잘라 보면 선형 모델의 연속이므로, 출력에서 시작해 기여도를 앞 층 노드로 계속 나눠 내려가면 결국 어떤 입력 픽셀이 판단을 만들었는지 되짚을 수 있다.

주요 인사이트

• 설명 가능성은 기술 취향의 문제가 아니라 규제 준수 조건이다. 대출 거부 사유 설명 의무나 GDPR의 설명 요구권처럼, 설명하지 못하는 모델은 아예 쓸 수 없는 영역이 이미 존재한다.
• 설명 가능성과 예측 성능은 자주 상충한다. 의사결정 트리는 설명하기 쉽지만 성능이 떨어지고 딥러닝은 반대여서, 설명가능 인공지능 연구는 이 둘을 함께 끌어올리는 것을 목표로 삼는다.
• 모델이 민감 속성을 스스로 학습할 수 있다는 사실은, 데이터에서 민감 항목만 빼는 방식으로는 차별을 막을 수 없음을 뜻한다. 무엇을 근거로 판단했는지 확인할 수 있어야 한다.
• 딥러닝 해석의 핵심 직관은 의외로 단순하다. 층 단위로는 선형 결합이므로 기여도를 비율대로 되돌려 주면 되고, 이 과정을 입력까지 반복하면 판단 근거 지도를 얻는다.
• 자율주행, 의료, 국방처럼 한 번의 오작동이 생명이나 큰 재산 피해로 이어지는 미션 크리티컬 영역일수록 설명가능 인공지능의 수요가 먼저 생긴다.

자주 묻는 질문

관련 AI 소식