LLM 자기 설명 충실성 검증의 한계와 CC-SHAP: 연속적 자기일관성 측정 방법

핵심 메시지

• LLM에게 스스로 설명하게 하는 방식은 간편해 보이지만, 그 설명은 불안정하고 서로 모순되며 오해를 부를 수 있다.
• 기존 충실성 검사들은 사실상 충실성이 아니라 자기일관성을 재고 있으며, 같은 모델에 대해 서로 다른 판정을 내놓는다.
• CC-SHAP은 답변에 기여한 입력과 설명에 기여한 입력이 얼마나 겹치는지를 -1에서 1 사이 연속값으로 측정한다.
• 입력 편집이나 주석 데이터, 설명의 의미 평가 없이 작동해 GPT-2처럼 편집에 반응하지 못하는 모델에도 쓸 수 있다.
• 11개 LLM을 5개 과제로 비교한 결과, 기본 모델은 대화용 모델보다 자기일관성이 낮았고 크기와 일관성 사이의 추세는 확인되지 않았다.

쉽게 이해하기

AI 코피 브레이크의 레티치아가 박사 논문 심사를 마친 뒤, ACL 2024 발표용으로 만든 10분짜리 영상을 채널에도 공개했다. 주제는 LLM이 자기 출력에 대해 내놓는 자연어 설명을 어떻게 평가할 것인가다. 모델에게 직접 설명하게 하는 방식은 별도의 해석 기법을 설계해 내부를 들여다보는 것보다 손쉬워 보이지만, 그 설명이 실제 추론 과정을 반영한다는 보장은 없다.

실제로 LLM의 답변과 설명은 여러 방식으로 어긋난다. 사용자의 잘못된 전제를 그대로 받아 주기도 하고, '맥락 속 예시의 정답이 항상 A'라거나 '내 생각엔 A인데 어떻게 보느냐' 같은 편향 요인에 흔들리면서도 설명에서는 그 영향을 언급하지 않는다. 반대로 맥락 학습에서 라벨이 틀렸는데도 반응하지 않거나, 무관하고 오도하는 프롬프트에도 정답을 내놓기도 한다. 입력에 너무 민감하거나 충분히 민감하지 않은 두 방향의 실패가 함께 존재하는 셈이다.

발표는 문헌의 기존 검사들을 하나씩 점검한다. 반사실적 편집 검사는 질문에 단어를 끼워 넣어 예측이 바뀌었는데 설명에 그 단어가 언급되지 않으면 불충실로 판정하지만 T5 계열에서만 적용됐고, 설명으로 입력을 재구성하는 검사는 설명이 정형화된 데이터셋에서만 작동하며, 생각의 사슬을 겨냥한 검사들은 각각 폐쇄형 모델 두 개나 정체가 밝혀지지 않은 1750억 규모 모델에만 적용됐다. 이들의 공통된 약점은 사후 설명용과 생각의 사슬용으로 갈라져 있고, 특정 데이터셋에 묶여 있으며, 논문마다 서로 다른 모델과 데이터를 써서 비교가 되지 않고, 판정이 이분법이라 설명의 절반만 충실한 경우를 담지 못한다는 점이다. 무엇보다 입력을 고친 뒤 출력이 어떻게 달라지는지에만 의존해 내부를 들여다보지 않기 때문에, 발표자는 이 검사들이 재는 것이 충실성이 아니라 자기일관성이라고 정리한다.

제안된 CC-SHAP은 섀플리 값으로 답변 예측에 기여한 입력과 설명 생성에 기여한 입력을 각각 구한 뒤 둘이 얼마나 닮았는지를 -1에서 1 사이 값으로 낸다. 토큰별 값의 크기를 비교 가능하게 정규화하고 자기회귀 모델이 쏟아내는 여러 출력 토큰에 대해 집계하는 단계를 거친다. 이분법 대신 연속값이고, 답변과 설명이 입력을 어디서 다르게 쓰는지 짚어 주며, 사후 설명과 생각의 사슬 양쪽에 쓸 수 있다는 것이 장점으로 제시된다.

검증을 위해 저자들은 정답 기준이 없는 상황에서 검사들끼리 서로 얼마나 합의하는지를 보는 비교 일관성 뱅크를 구성했다. 5개 과제에서 11개 LLM을 대상으로 CC-SHAP과 문헌의 검사 7종을 함께 돌린 결과, 검사들 사이의 판정은 크게 갈렸고 GPT-2에서는 0%나 100%라는 극단값이 나왔다. 기본 모델은 대화용 모델보다 자기일관성이 낮았으며, 실험이 가능했던 크기 범위 안에서는 모델 크기와 자기일관성 사이에 뚜렷한 추세가 보이지 않았다.

주요 인사이트

• '설명이 충실한가'와 '설명이 답변과 일관되는가'는 다른 질문이다. 기존 검사들이 재던 것이 후자였다는 정리는, 자기 설명을 해석 도구로 쓰는 관행 전체에 대한 경고에 가깝다.
• 입력을 고쳐 출력 변화를 보는 방식은 편집에 반응할 능력이 있는 모델에서만 성립한다. 반응하지 못하는 모델은 자동으로 충실한 것처럼 보이는 착시가 생긴다.
• 이분법 판정 대신 연속값을 쓰면 설명의 일부만 충실한 경우를 표현할 수 있다. 평가 지표의 해상도가 곧 관찰할 수 있는 현상의 범위를 정한다.
• 논문마다 다른 모델과 데이터로 검사를 돌려 온 탓에 분야의 진척을 누적해서 비교할 수 없었다. 비교 일관성 뱅크는 그 공백을 메우려는 공용 기준선이다.
• 기본 모델보다 대화용 모델의 자기일관성이 높다는 결과는 사후 조정이 설명과 답변의 정렬에 영향을 준다는 신호로 읽힌다.

자주 묻는 질문

관련 AI 소식