기계적 해석가능성 입문: LLM 내부 뉴런과 어텐션 헤드를 뜯어보는 네 가지 실험 기법 정리

핵심 메시지

• 기계적 해석가능성은 'LLM이 무엇을 출력했나'가 아니라 '그 답을 어떤 계산으로 만들어 냈나'를 신경망 내부에서 역설계하는 분야다.
• 기존 머신러닝 해석 도구는 어떤 입력 특징이 결과와 함께 움직였는지를 보여 줄 뿐 인과를 말해 주지 않는다는 점이 출발점이다.
• 발표자는 활성값 교체, 뉴런 절제, 프로빙, 어텐션·로짓 렌즈라는 네 갈래 기법을 소개하고, 이들을 오가며 가설을 확인하는 실험 과정이라고 설명했다.
• 안전 문제와 직결된다. 어떤 헤드가 학습 데이터에 섞인 민감 정보를 흘리는지, 탈옥 프롬프트가 왜 통하는지를 내부에서 짚어 볼 수 있다.
• 큰 모델에는 계산 비용이 걸림돌이라, 발표자는 20억 개 안팎의 작은 공개 모델이나 직접 학습한 소형 모델부터 시작하라고 권했다.

쉽게 이해하기

유로파이썬 콘퍼런스 발표에서 머신러닝 엔지니어 제니 베가가 기계적 해석가능성을 주제로 입문 강연을 했다. 발표자는 솔루션 아키텍트로 일하던 시절 한 통신사 고객에게 '우리 챗봇이 없는 말을 지어내지 않는다고 어떻게 보장하느냐'는 질문을 받은 경험을 계기로 이 분야에 들어섰다고 밝혔다. 분류·회귀 모델을 설명하는 도구는 이미 여럿 있었지만, 2022년 말 당시 LLM에는 마땅한 해법이 없었다는 것이다.

발표는 두 가지 질문으로 문제를 정의한다. 하나는 모델이 문장 구조를 어떻게 파악해 다음에 올 단어가 명사인지 동사인지를 아는가이고, 다른 하나는 특정 층의 특정 회로를 건드려 모델의 행동을 바꿀 수 있는가다. 두 번째 질문의 유명한 사례로는 한 연구팀이 모델 내부에서 특정 다리와 연결된 표현을 찾아내 그 강도를 인위적으로 키웠더니, 무슨 질문을 해도 그 다리 이야기를 하는 모델이 되어 버린 실험이 소개됐다.

왜 기존 도구로는 부족한가에 대한 답은 명확했다. 널리 쓰이는 설명 기법들은 어떤 특징이 예측과 함께 움직였는지를 보여 주는 상관 관계 도구이지, '이 뉴런이 이 행동을 책임진다'는 인과를 말해 주지 않는다. 기계적 해석가능성은 뇌 영상 촬영에 비유되며, 겉으로 드러난 행동이 아니라 회로가 실제로 무슨 일을 하는지 들여다보려 한다는 점에서 다르다.

구체적인 기법은 네 갈래로 정리됐다. 활성값 교체는 서로 다른 두 문장을 넣고 특정 층의 중간 표현을 서로 바꿔치기해, 출력이 따라 바뀌면 그 층이 해당 정보를 담고 있다고 판단한다. 절제는 뉴런이나 어텐션 헤드를 꺼 보고 예측이 무너지는지로 중요도를 잰다. 프로빙은 층별 표현 위에 작은 분류기를 학습시켜 그 층이 무엇을 구분하는지 확인하는데, 라벨링 부담 때문에 확장성이 떨어진다. 어텐션·로짓 렌즈는 각 층이 다음 토큰으로 무엇을 밀고 있는지를 들여다보며 가설을 세우는 데 쓰인다.

발표자는 이 분야에 들어오는 데 학위가 필요하지는 않지만 실질적인 장벽은 계산 자원이라고 짚었다. 소개된 기법 대부분은 수십억 파라미터 급의 작은 공개 모델에서 잘 작동하고, 큰 모델에서는 같은 실험을 그대로 하기 어렵다. 그래서 작은 모델로 시작해 결과를 확장해 보라는 것, 그리고 논문을 읽고 그 논문의 '향후 과제' 항목에서 가설을 얻으라는 것이 현실적인 조언으로 제시됐다.

주요 인사이트

• 상관과 인과의 구분이 이 분야의 존재 이유다. 어떤 단어가 답에 영향을 줬다는 설명과, 특정 뉴런을 끄면 답이 무너진다는 증거는 신뢰도가 전혀 다르다.
• 해석가능성은 안전 문제와 곧바로 이어진다. 발표에서는 학습 데이터에 섞여 들어간 자격 증명 같은 민감 정보를 어느 헤드가 흘리는지 찾아 제거하는 용도가 실제 사례로 언급됐다.
• '한 뉴런 = 한 개념'이라는 기대는 성립하지 않는다. 하나의 뉴런이 여러 주제 정보를 겹쳐 담기 때문에, 개념은 보통 특정 뉴런보다 층이나 뉴런 집합 단위로 흩어져 있다.
• 질문거리를 찾는 것 자체가 진입 장벽이다. 발표자는 추론 모델이 '잠깐, 이건 아닌 것 같다'며 되짚을 때 어떤 뉴런이 켜지는지를 실제 연구 주제의 예로 들었다.
• 엔지니어가 기여할 여지가 넓다. 발표자는 연구자가 쓸 만한 도구·라이브러리 자체가 아직 부족하다며, 파이썬 개발자들이 이 도구를 만드는 데 참여해야 한다고 강조했다.

자주 묻는 질문

관련 AI 소식