LLM 해석가능성 입문: 설명가능성과의 차이, 희소 오토인코더, 어트리뷰션 그래프

핵심 메시지

• 해석가능성(interpretability)은 모델 내부의 어떤 단위·경로가 출력을 만드는지 인과적으로 밝히는 ‘내부 관점’이고, 설명가능성(explainability)은 사람이 읽을 수 있는 이유를 대는 ‘외부 관점’으로 서로 다른 질문에 답한다.
• 신뢰는 진실성·일관성·충실성·가드레일·관찰가능성 같은 ‘높이는 요인’과 아첨(agreeability bias)·불투명성·취약성·데이터 위험 같은 ‘허무는 요인’으로 구체화할 수 있다.
• 살리언시·LIME·섀플리 값·반사실 같은 고전 기법은 대부분 설명가능성에 속하며, 특징이 문맥에 얽혀 분산되는 LLM에서는 한계가 있다.
• 앤트로픽은 ‘뉴런에서 특징으로’ 초점을 옮겨, 희소 오토인코더로 중첩(superposition)을 풀고 단의미(monosemantic) 특징을 찾는 연구를 이끈다.
• 어트리뷰션 그래프와 회로 추적은 특정 프롬프트가 층을 거쳐 어떻게 흐르는지 보여주며, 안전(거부·탈옥)을 검증 가능한 단계로 바꾼다.

쉽게 이해하기

발표자는 먼저 두 개념을 갈라 놓는다. 해석가능성은 모델 내부의 어떤 단위와 경로가 실제로 출력을 만들었는지 인과적으로 밝히는 내부 관점이고, 설명가능성은 그 출력이 왜 그럴듯한지를 사람이 읽을 수 있게 대는 외부 관점이다. 히트맵은 ‘무엇이 켜졌는지’는 보여줘도 ‘무엇이 원인인지’는 증명하지 못한다.

그는 신뢰를 측정 가능하게 만들자고 제안한다. 신뢰를 높이는 요인으로 진실성·보정, 일관성·견고성, 근거의 충실성, 가드레일·거버넌스, 관찰가능성을 들고, 허무는 요인으로 아첨 편향, 불투명성(블랙박스), 취약성, 데이터 유출 위험을 든다. 지난해 OpenAI 모델이 아첨 문제로 회수된 사례와 챗봇 관련 소송이 예로 등장한다. 이해의 기준은 기계론적·인과적·예측적·반사실적·다중스케일·감사가능이며, ‘명명·검증·예측·계측·재현’이라는 다섯 동사가 리트머스 시험이 된다.

해석가능성은 사회기술적 문제인 AI 윤리의 인프라라고 그는 강조한다. 공정성·비차별, 투명성·설명가능성, 인간 영향과 사회적 후생, 보안·안전, 프라이버시·데이터 보호, 책무·거버넌스라는 여섯 기둥을 제시하며, 국가 경계를 모르는 기술에 파편화된 규제가 걸리는 현실을 짚는다.

고전 기법들은 대부분 설명가능성에 속한다. 입력 토큰을 조금 흔들었을 때 출력이 얼마나 바뀌는지 보는 살리언시(하이라이터), 한 예시 주변에 작은 대리모델을 맞추는 LIME, 게임이론으로 기여를 분해하는 섀플리 값, 결정을 뒤집는 최소 변화를 찾는 반사실, 그리고 어텐션 맵이 그것이다. 독버섯 판별, 영화 리뷰 감성, 재범 예측 도구 COMPAS의 인종 편향 같은 예가 나온다. 다만 LLM에서는 각 토큰의 의미가 문맥 전체에 의존하고 표현이 분산돼 있어 이 기법들이 흔들린다.

그래서 현대 연구는 뉴런이 아니라 특징과 회로로 이야기한다. 특징은 여러 뉴런에 퍼져 하나의 개념을 담는 신호이고, 중첩은 너무 많은 개념이 적은 뉴런에 겹친 상태이며, 희소 오토인코더(과완비 사전)로 이를 풀어 단의미 특징을 찾는다. 발표자는 앤트로픽의 일련의 논문—2023년 ‘Interpretability Dreams’(모티프→구조→보편성), 같은 해 ‘Towards Monosemanticity’, 2024년 ‘Scaling Monosemanticity’(Claude 3 Sonnet), 그리고 어트리뷰션 그래프로 회로를 추적한 ‘대규모 언어모델의 생물학’(Claude 3.5 Haiku)—을 대표로 꼽고, 이 도구가 Neuronpedia로 오픈소스 공개돼 있다고 소개한다.

주요 인사이트

• ‘좋은 이야기’를 ‘메커니즘 증명’으로 착각하는 것이 이 분야의 흔한 실패다. 절제(ablation)로 예측대로 행동이 바뀌어야 비로소 기계론적 증거가 된다.
• 중첩 현상 때문에 하나의 뉴런이 여러 개념을 공유하므로, 뉴런 단위가 아니라 특징 단위로 이야기해야 한다.
• 개발자는 모든 주장에 ‘무엇을 명명하고, 어떻게 검증하고, 어떻게 계측할지’를 붙이는 습관으로 코드리뷰와 평가에 해석가능성을 녹일 수 있다.
• 해석가능성은 현미경이지 신탁이 아니다. 신뢰할 만한 인과 이야기를 주지만 모든 프롬프트에 대한 전역 증명은 아니다.

자주 묻는 질문

관련 AI 소식