희소 오토인코더(SAE) 한계와 쓸모: 닐 난다가 정리한 사전 학습 해석 가능성 3년의 기록

핵심 메시지

• 희소 오토인코더는 모델 활성값에서 개념 방향을 비지도로 뽑아내는 기법으로, 2023년 이후 해석 가능성 연구의 중심에 섰다가 지금은 평가가 크게 갈린다.
• 가장 큰 문제는 목표와 지표였다. 희소성은 해석 가능성의 대리 지표일 뿐이고, 널리 쓰인 손실 회복률은 값이 무엇을 뜻하는지조차 불분명했다.
• 찾고자 하는 개념이 분명하다면 지도학습 프로브가 대체로 이긴다. 희소 오토인코더의 자리는 '무엇을 찾을지 모를 때의 발견'이다.
• 특징 흡수와 결합, 분열 같은 병리가 드러나면서 '충분히 키우면 정답 단위가 나온다'는 기대는 무너졌고, 마트료시카 방식이 상당한 개선을 보였다.
• 닐 난다는 앤스로픽식 어트리뷰션 그래프를 모델 생물학 도구로는 높이 평가하지만, 완전한 역공학 경로로는 보지 않는다.

쉽게 이해하기

해석 가능성 연구자 닐 난다가 자신이 지도하는 연구 프로그램 참가자들을 대상으로 진행한 강연이다. 주제는 사전 학습(dictionary learning), 그중에서도 희소 오토인코더가 어떻게 최전선의 유행이 되었고 왜 지금은 논쟁거리가 되었는지다. 출발점은 신경망 활성값의 의미를 알 수 없다는 오래된 난제와, 개념들이 방향으로 표현되되 특정 입력에서는 소수만 켜진다는 중첩 가설이었다. 그는 자신이 처음에는 회의적이었지만 초기 결과가 기대를 크게 넘어섰고, 그 열광 자체는 지금도 대체로 정당했다고 본다고 말한다.

문제는 그다음부터였다. 강연의 상당 부분은 해석을 어떻게 잘못하게 되는지에 할애된다. 활성값이 가장 높은 상위 100개 예시만 보면 '뿌리채소'처럼 지나치게 좁거나 넓은 라벨을 붙이기 쉽다. 애초에 우리가 보는 데이터는 그 단위가 켜진 사례로 이미 걸러진 것이라, 켜지지 않은 압도적 다수에서 무슨 일이 벌어지는지는 시야 밖이다. 그는 최댓값 대신 활성 분포의 여러 구간에서 무작위로 뽑아 보고, 가능하면 대량의 데이터로 분류해 보라고 권한다.

지표에 대한 비판은 더 날카롭다. 널리 쓰인 손실 회복률은 재구성값을 넣었을 때의 성능 저하를 0을 넣었을 때의 저하로 나눈 값인데, 잔차 스트림에 0을 넣으면 모델이 완전히 망가지므로 분모가 지나치게 커져 수치가 부풀려진다. 그래서 대부분의 결과가 0.9 위에 몰린다. 더 근본적으로는 95%라는 숫자가 무엇을 보장하는지 알 수 없다는 점이 문제다. 그는 이 지점에서 두 가지 목표가 뒤섞여 있었다고 지적한다. 하나는 모델을 최대한 완전히 역공학하겠다는 목표이고, 다른 하나는 불완전해도 쓸모 있는 도구를 갖겠다는 목표인데, 전자를 내세우면서 후자에 맞는 도구를 쓰면 '이 모델에 기만이 없음을 확인했다' 같은 주장으로 미끄러지기 쉽다.

그럼에도 남는 쓸모는 분명하다. 찾을 대상을 이미 아는 문제에서는 선형 프로브 같은 지도학습 기법이 대체로 더 낫다는 것이 그의 부정적 실험 결과다. 반대로 무엇이 있는지 모르는 상태에서 무언가를 건져 올리는 비지도 발견에서는 여전히 강력하다. 문서마다 어떤 개념이 등장하는지를 벡터로 만들어 데이터셋을 비교하는 방식은 특히 유용한데, 같은 프롬프트에 대한 여러 모델의 응답을 비교했더니 한 모델에서만 '신중함' 계열 단위가 두드러지게 많이 나타난 사례를 들었다.

마지막으로 그는 현재 지형을 정리한다. 모델 비교를 위한 크로스코더, 파라미터 분해, 트랜스코더 기반 어트리뷰션 그래프로 분야가 갈라졌다. 앤스로픽의 어트리뷰션 그래프 연구에 대해서는 시 쓰기에서 미리 운율을 계획한다는 발견 같은 성과를 높이 사면서도, 근사 위에 근사를 쌓는 구조여서 완전한 역공학의 경로로는 보이지 않는다고 말한다. 특히 설명되지 않은 부분을 담는 오차 노드를 빼면 결과가 대체로 무너진다는 점, 그리고 추론 모델에서는 앞 문장이 뒤 문장을 만든 인과가 그래프에 아예 잡히지 않는다는 점을 한계로 든다.

주요 인사이트

• '충분히 좋은 희소 오토인코더는 아직 시도된 적 없다'는 반론은 언제든 가능하지만, 그 사이 실제 과제에서 단순한 기법이 계속 이겨 왔다는 사실 자체가 데이터다.
• 특징 흡수는 희소성이라는 목표가 만들어내는 왜곡을 잘 보여준다. '코끼리'와 'e로 시작하는 단어'가 함께 있으면, 후자를 '코끼리를 제외한 e로 시작하는 단어'로 비틀어 잡는 편이 더 희소하기 때문이다.
• 마트료시카 방식은 표준 지표에서는 오히려 나쁘게 나오지만 흡수 같은 병리에서는 훨씬 낫다. 단일 지표만 믿었다면 버렸을 개선이라는 점에서, 지표 설계 자체가 연구 방향을 좌우한다는 사례가 된다.
• 비지도 발견에서는 오탐이 많아도 괜찮다. 상위 100개 안에 진짜 가설이 들어 있고 검증 비용이 싸다면 충분하며, 완벽주의는 오히려 방법을 버리게 만든다는 것이 그의 조언이다.
• 오픈소스 공개와 도구 제작이 분야를 앞으로 밀었다는 회고도 인상적이다. 그는 자신이 이 기법에 대한 판단을 바꾼 데에도 외부 연구자들의 검증이 크게 기여했다고 말한다.

자주 묻는 질문

관련 AI 소식