APD 해석성 방법론 해설, 파라미터 공간 분해로 신경망의 계산 메커니즘을 찾는 법

핵심 메시지

• APD는 활성값이 아니라 신경망의 파라미터 자체를 여러 성분으로 쪼개 계산 메커니즘을 찾는 방법이다.
• 목적 함수는 성분들의 합이 원본과 같을 것(충실성), 한 번의 순전파에 쓰이는 성분이 적을 것(최소성), 각 성분이 단순할 것(단순성) 세 가지다.
• 어느 성분이 중요한지는 기울기 기반 귀인으로 판정하고, 상위 k개만 남겨 다시 순전파를 돌린다.
• 실험은 중첩 토이 모델과 '압축 계산' 두 가지이며, 하이퍼파라미터 민감성과 계산 비용이 가장 큰 한계다.
• 저자들은 기울기 귀인과 단순성 정의를 고정된 것으로 보지 않으며, 확장성과 견고성을 최우선 과제로 꼽는다.

쉽게 이해하기

리 샤키는 현재 Goodfire에서 해석성을 연구하며 Apollo Research를 공동 창업했고, 희소 오토인코더(SAE) 초기 연구로 알려진 인물이다. 이번 논문은 두 갈래 문제의식이 합쳐진 결과다. 하나는 SAE를 오래 다루며 쌓인 개념적·실용적 불만이고, 다른 하나는 공저자 루시우스가 생각하던 신경망 분해의 토대 만들기다. 결과물이 파라미터 공간에서의 해석성, 곧 APD다.

방법의 뼈대는 이렇다. 신경망의 모든 가중치 행렬을 펼쳐 하나의 큰 파라미터 벡터로 보고, 이를 여러 개의 파라미터 성분으로 나눈다. 성분들은 합쳤을 때 원래 네트워크가 되어야 하고(충실성), 어떤 입력을 넣든 그중 소수만 실제로 쓰여야 하며(최소성), 각 성분은 가능한 한 단순해야 한다. 단순성이 없으면 '원본 네트워크 하나'라는 답이 최소성 조건을 완벽히 만족해버린다. 논문은 단순성을 행렬 랭크의 합으로 정의했는데, 랭크는 미분이 안 되므로 실제로는 특이값의 합을 최소화한다.

진행자 다니엘 필란은 최소성이 왜 '순전파당' 성분 수인지 집요하게 되묻는다. 입력 A에서는 성분 1·3·5가, 입력 B에서는 2·4·6이 켜지는 해법이라면 전체로는 여섯 개를 쓰는 셈인데 왜 이를 좋게 평가하느냐는 것이다. 샤키는 기울기 갱신이 배치 전체에 걸쳐 평균되기 때문에 결국 성분을 공유하는 해법이 선호된다고 답한다. 실제로 이 방법은 데이터 포인트별 top-k가 아니라 배치 단위 top-k를 쓴다.

직관을 위해 두 사람은 자동차를 분해해 본다. 브레이크는 밟지 않는 순간에는 제거해도 결과가 달라지지 않으니 그 입력에서는 비활성 성분이다. 반면 속도계와 핸들은 차가 켜져 있는 동안 늘 함께 작동하므로 하나로 뭉뚱그려질 수 있다. 여기서 나오는 결론이 중요하다. 메커니즘을 제대로 구분하려면 그것들이 서로 다르게 작동하는 상황이 실제로 포함된, 충분히 다양한 입력 분포가 필요하다는 것이다.

실험은 두 가지다. 중첩(superposition) 토이 모델에서는 행렬의 각 행이 정답 메커니즘에 해당하는데, 입력 5개에 은닉 2차원인 아주 작은 설정은 하이퍼파라미터에 극도로 민감했고 40개에 10차원 설정이 그나마 나았다. '압축 계산'은 은닉 뉴런 수보다 많은 함수를 계산하는 현상으로, 뉴런 50개로 입력 100개 각각의 ReLU를 근사한다. 비용은 만만치 않다. 성분 하나마다 원본 모델만 한 메모리가 필요하고, 학습 한 스텝마다 순전파와 역전파를 두 번씩 돌려야 한다. 샤키는 어텐션 분해, 암기와 일반화의 구분, 특징 기하학 같은 후속 과제를 꼽으면서, 큰 모델에 쓸 수 있는 방법이 나오기까지 3개월에서 3년 사이라는 폭넓은 불확실성을 인정한다.

주요 인사이트

• 활성값 기반 해석은 계산의 결과인 '표현'을 보지만, 파라미터 분해는 계산 그 자체를 대상으로 삼는다.
• 기울기 귀인은 절제(ablation) 효과의 1차 근사일 뿐이라, 어텐션이 포화된 상황처럼 체계적으로 빗나가는 경우가 있다.
• 단순성을 층별 랭크의 합으로 정의하면 층이라는 구분을 특권화하게 되는데, 저자들도 이를 약점으로 인정한다.
• 논문 실험이 메커니즘보다 표현에 가깝다는 지적에 저자는 동의하며, 중간에 회전 행렬을 둔 토이 모델을 대안으로 제시한다.
• '특징'을 하나의 파라미터 성분을 쓰는 무언가로 정의하면, 오래 모호했던 개념에 비교적 분명한 기준이 생긴다.

자주 묻는 질문

관련 AI 소식