기계적 해석가능성 강의: 스티어링·인과 매개 분석·인과 추상화로 LLM 내부 읽기

핵심 메시지

• 강연자는 기계적 해석가능성을 '인과 메커니즘을 통해 신경망 내부를 이해하는 일'이라는 좁은 기술적 정의로 다룬다.
• 스티어링은 모델 내부를 만질 수 있다는 통찰을 주지만, 원하는 행동을 얻는 수단으로는 프롬프트와 파인튜닝이 훨씬 강력하다.
• 인과 매개 분석은 입력에서 출력으로 가는 효과가 특정 내부 요소를 경유하는지를 나눠 보는 방법이고, 사실 인출이 어디서 일어나는지 추적하는 데 쓰였다.
• 인과 추상화는 알고리즘과 신경망을 모두 인과 그래프로 보고, 한쪽의 변수를 바꿨을 때와 다른 쪽의 부품을 바꿨을 때 같은 결과가 나오는지로 대응 관계를 검증한다.
• 모델은 하나의 깔끔한 알고리즘이 아니라 여러 휴리스틱이 겹친 형태로 문제를 풀며, 조건이 조금만 복잡해져도 사용하는 메커니즘 자체가 바뀐다.

쉽게 이해하기

강연자는 기계적 해석가능성이라는 말이 여러 뜻으로 쓰인다는 점부터 정리한다. AI 안전 연구자들이 쓰는 문화적 정의, 그냥 모델 내부를 들여다보는 사람 전부를 가리키는 넓은 정의도 있지만, 그는 '인과 메커니즘을 통해 신경망 내부를 이해하는 일'이라는 좁은 기술적 정의를 택한다고 밝힌다. 강의 전체는 이 관점에서 스티어링, 인과 매개 분석, 인과 추상화 순으로 난이도를 올려 간다.

출발점은 많은 사람이 이 분야를 처음 접한 계기인 골든게이트 클로드다. 모델 내부 표현에 특정 특징을 더했더니 계속 금문교 이야기를 꺼내는 모델이 되었고, 내부를 조작하면 겉으로 드러나는 행동이 알아볼 수 있는 방식으로 바뀐다는 점이 널리 알려졌다. 강연에서는 결혼식을 싫어하는 문장들과 좋아하는 문장들의 내부 활성값을 각각 평균 내어 그 차이를 벡터로 삼는 가장 기본적인 방식이 소개됐다. 다만 그는 이 방법의 위치를 냉정하게 못 박는다. 여러 제어 기법을 비교한 벤치마크에서 원하는 행동을 가진 모델을 만드는 목적이라면 프롬프트와 파인튜닝이 압도적으로 낫고, 희소 오토인코더가 붙여 준 이름표를 그대로 써서 스티어링하는 방식은 평균적으로 기대만큼 효과가 없었다는 것이다. 스티어링은 통찰을 주는 도구이지 최신 성능을 내는 제어 수단은 아니라는 정리다.

다음으로 다룬 인과 매개 분석은 의학과 인과추론에서 이미 성숙한 틀이다. 입력을 바꿨을 때 생기는 전체 효과가 중간의 어떤 요소를 경유하는지 나누어 보는 것인데, 신경망에서는 토큰 임베딩에 잡음을 섞어 성능을 무너뜨린 뒤 특정 층을 원래 값으로 되돌리며 어디를 복원해야 원래 답이 살아나는지를 본다. 강연에서 소개된 사례에서는 초반 MLP 묶음이 사실을 끌어오고, 마지막 토큰의 어텐션 헤드가 그 정보를 출력 자리로 실어 나르는 그림이 나왔다.

강연의 핵심은 인과 추상화다. 알고리즘도 신경망도 모두 인과 그래프로 표현할 수 있으니, 어떤 알고리즘이 신경망 안에 구현되어 있다는 주장을 두 그래프 사이의 대응 관계로 정의하자는 제안이다. 두 자리 덧셈에서 '1을 올림'이라는 이진 변수를 특정 뉴런에 대응시켰다고 해 보자. 다른 입력에서의 값으로 그 뉴런만 갈아 끼웠을 때 출력이 42에서 32로 바뀐다면, 그 뉴런이 정말 올림 정보를 담고 있다는 증거가 된다. 모든 입력 쌍에서 이 대응이 성립하면 완벽한 추상화라고 부른다.

여기서 한 걸음 더 나가면, 개입할 축 자체를 학습으로 찾는다. 벡터 공간을 회전시켜 새 축을 만드는 변환을 끼워 넣고, 트랜스포머 가중치는 전부 얼린 채 그 변환만 학습시켜 '개입했을 때 기대한 출력이 나오는' 방향을 찾아내는 방식이다. 강연자는 이렇게 하면 지도학습 도구를 변수 위치 찾기에 그대로 끌어올 수 있다고 설명하면서도, 변환이 너무 강력하면 실제 계산과 무관하게 공간을 억지로 잘라내는 과적합이 생기므로 학습·평가 데이터를 반드시 분리해야 한다고 경고했다.

주요 인사이트

• 선형 프로브는 마지막 층까지 관련 정보가 있다고 표시하지만, 그 정보가 실제로 쓰이는지는 알려 주지 않는다. 개입 기반 방법의 히트맵이 훨씬 국소적으로 나오는 이유가 여기에 있다.
• 개입값을 다른 실제 입력에서 취했을 값으로 채우면 모델을 분포 밖으로 밀어내지 않는다. 강연자는 스티어링이 '모델을 조종하는 일'이라면 이 방식은 '모델이 스스로를 어떻게 조작하는지 보는 일'이라고 구분했다.
• 널리 인용되는 인과 추적 히트맵이 유난히 또렷한 덩어리로 보이는 이유는 한 층씩이 아니라 열 개 층을 한꺼번에 복원했기 때문이며, 개별 층 단위로 보면 훨씬 흐릿하게 퍼져 있다.
• 인물·용기·내용물이 등장하는 짧은 이야기를 푸는 과정을 분석한 사례에서, 모델은 단어 대신 위치 표식을 붙여 두었다가 되짚어 답을 가져오는 방식을 쓴다. 잔차 스트림 전체가 아니라 20차원 안팎의 작은 부분공간만으로 이 위치 정보를 조작할 수 있었지만, 목록이 길어지면 가운데 항목에서 이 방식이 무너지고 단어를 직접 조회하는 쪽으로 갈아타 성능 곡선이 U자를 그린다.
• 가설이 자주 틀린다는 사실 자체가 이 작업이 과학이라는 증거라고 강연자는 말한다. 직관적으로 있을 법한 변수를 찾으러 갔다가 아예 존재하지 않는 경우가 흔하다.

자주 묻는 질문

관련 AI 소식