LLM 해석가능성 강연 정리: 설명가능성과의 차이, 희소 오토인코더와 어트리뷰션 그래프까지

핵심 메시지

• 해석가능성은 모델 내부에서 어떤 단위와 경로가 답을 만들었는지 짚는 '안쪽 관점'이고, 설명가능성은 사람이 읽을 수 있는 이유를 제시하는 '바깥쪽 관점'이다. 둘은 증거의 종류가 다르다.
• 발표자가 제시한 판정 기준은 다섯 개 동사다. 이름 붙이기, 검증하기, 예측하기, 계측하기, 재현하기 — 이 다섯 가지가 되지 않으면 이해했다고 말할 수 없다.
• 가장 흔한 실패는 그럴듯한 이야기를 메커니즘 증명으로 착각하는 것이다. 히트맵이 무엇이 켜졌는지는 보여줘도 무엇이 그 답을 일으켰는지는 증명하지 못한다.
• SHAP·LIME·중요도 하이라이트 같은 고전 기법은 특징이 서로 독립적으로 작동한다고 가정하기 때문에, 토큰의 의미가 문장 전체에 의존하는 대규모 언어 모델에서는 흔들린다.
• 앤스로픽의 해석가능성 논문 네 편은 '지도부터 그리자 → 뉴런을 특징으로 분리하자 → 실제 프로덕션 모델로 확장하자 → 프롬프트 단위 배선도를 그리자'로 이어지는 하나의 흐름이다.

쉽게 이해하기

개발자 콘퍼런스 NDC의 2026년 토론토 행사에서 미셸 프로스트가 한 시간 동안 대규모 언어 모델의 해석가능성을 다뤘습니다. 그는 존스홉킨스에서 AI를 공부했고 지금은 AI 윤리·거버넌스 자문 일을 하고 있는데, 강연의 출발점도 거기에 있습니다. 앤스로픽의 최신 해석가능성 논문을 처음 펼치면 압도당하기 쉬우니 그 앞에 필요한 기초 개념부터 깔아주겠다는 것이 목적이었습니다. 그래서 이야기는 '신뢰'를 계산 가능한 것으로 바꾸는 데서 시작합니다. 사람에 대한 신뢰는 말과 행동이 얼마나 일치하는지로 가늠할 수 있습니다. 그런데 언어 모델에는 사람이 말하는 의미의 행동이 없습니다. 그래서 발표자는 신뢰를 올리는 요소와 깎아내리는 요소로 나눕니다. 올리는 쪽에는 정확할 뿐 아니라 확신의 정도를 솔직히 드러내는 보정 능력, 줄바꿈 하나 추가했다고 답이 뒤집히지 않는 견고성, 모델이 내놓은 근거가 실제 계산 경로와 맞는 충실성, 안전 가드레일, 그리고 층 사이를 들여다볼 수 있는 관찰가능성이 들어갑니다. 깎아내리는 쪽에는 사용자가 틀렸는데도 맞장구치는 아첨 성향, 출력의 취약성, 데이터 위험이 있습니다.

핵심 구분은 해석가능성과 설명가능성입니다. 의심되는 내부 단위를 잘라내거나 눌렀을 때 예측한 대로 동작이 움직이면 그것은 메커니즘 증거이지만, 중요도 지도나 국소 대리 모델을 보여주는 것은 하나의 해명이지 배선도가 아닙니다. 강연은 고전 기법들을 순서대로 짚습니다. 각 토큰을 흔들었을 때 출력이 얼마나 변하는지 보는 중요도·기울기 기반 기법, 하나의 예시 주변만 근사하는 국소 대리 기법인 LIME, 게임 이론에서 온 기여도 분해인 SHAP, 결정을 뒤집는 최소한의 현실적 수정을 찾는 반사실 기법, 그리고 어텐션 지도입니다. 버섯의 식용·독성 판별 데이터셋과 영화평 감성 분류를 예로 들어 각 기법이 무엇을 말해주고 무엇을 말해주지 못하는지를 보여줍니다.

반사실 기법의 무게를 보여주는 사례로는 재범 위험을 점수화해 판사에게 제공하던 COMPAS가 등장합니다. 발표자에 따르면 전체 정확도는 평균 65% 언저리였지만 틀리는 방향이 집단에 따라 갈렸습니다. 흑인 피고인은 재범할 것이라고 잘못 예측되는 경우가, 백인 피고인은 재범하지 않을 것이라고 잘못 예측되는 경우가 각각 두 배였습니다. 데이터셋에서 인종 값을 서로 뒤바꿔 모델을 다시 돌리자 결과가 달라졌고, 그것이 그 열이 출력에 기여했다는 증거가 되었습니다. 다만 이런 고전 기법들은 특징이 대체로 독립적으로 작동한다고 가정하기 때문에, 토큰의 의미가 문장 전체에 의존하고 계산이 어텐션을 통해 멀리 건너뛰는 대규모 언어 모델 앞에서는 흔들립니다.

그래서 강연의 후반부는 개별 뉴런이 아니라 '특징'과 '회로'를 단위로 삼는 앤스로픽의 논문 네 편을 따라갑니다. 2023년의 해석가능성 구상 논문은 생물학이 세포 유형과 기관을 목록화하듯 작은 모티프와 큰 구조, 여러 모델에 걸쳐 반복되는 보편성을 먼저 지도로 그리자고 제안했습니다. 같은 해의 단의미성 논문은 개념이 뉴런 수보다 많아 서로 겹쳐 저장되는 중첩 문제를 정면으로 다뤄, 희소 오토인코더로 활성값을 풀어 사람이 이름 붙일 수 있는 특징을 회수하려 했습니다. 2024년 논문은 같은 접근을 실제 서비스 모델로 확장했고, 2025년 논문은 특정 프롬프트에서 어떤 특징이 어떤 토큰에 영향을 주는지를 층을 가로질러 추적하는 어트리뷰션 그래프를 내놓았습니다.

마지막으로 발표자는 이 작업이 왜 지금 필요한지를 규제와 사고 사례로 못 박습니다. 유럽 AI 법의 조항들이 순차적으로 시행되면서 감사와 편향 확인, 설명 보고서가 요구되는데, 그런 보고서는 내부를 들여다보지 않고는 쓸 수 없습니다. 반대 사례도 듭니다. 상용 모델이 답변에 뜬금없는 단어를 끼워 넣기 시작했을 때 임시 처방은 프롬프트에 금지 문구를 박아 넣는 것이었고, 과거 이미지 자동 태깅이 흑인을 동물로 분류했을 때의 처방도 해당 라벨을 지우는 것이었습니다. 밖에서 막는 방식으로는 원인을 고칠 수 없다는 것이 강연의 결론입니다.

주요 인사이트

• 발표자는 해석가능성을 '현미경이지 신탁이 아니다'라고 정리한다. 특정 프롬프트에서의 국소적 인과 가설을 세우고 반복되는 패턴을 찾을 수는 있지만, 모든 프롬프트에 대한 전역적 증명이나 완벽한 충실성 검사는 아직 아니다.
• 해석가능성이 윤리의 여섯 기둥 전부를 대신하지는 않는다. 공정성 감사를 가능하게 하지만 표본 설계와 정책 선택을 대체하지 않고, 유해 회로를 지목할 수 있지만 위협 모델링과 사고 대응을 대체하지 않는다.
• 실무에 옮기는 방법은 거창하지 않다. 주장할 때마다 무엇을 이름 붙였는지, 어떻게 검증했는지, 어떻게 계측할지를 함께 적는 습관을 코드와 리뷰에 넣고, 가치가 큰 행동 하나를 골라 작은 내부 점검 루프를 돌려보라는 것이다.
• 설명가능성과 해석가능성은 용도가 다르다. 이해관계자에게 책임을 설명할 때는 설명가능성이, 감사와 디버깅에는 해석가능성이 맞는 차선이다.
• 이 분야는 아직 초기다. 발표자는 학생이라면 지금 뛰어들라고 권할 만큼 사람이 부족한 영역이라고 말한다.

자주 묻는 질문

관련 AI 소식