기계적 해석가능성 10년사 정리: 신경망 완전 역공학이 좌초하고 실용적 이해만 남은 이유

핵심 메시지

• 발표자는 신경망을 사람이 이해할 수 있는 형태로 완전히 역공학하겠다는 초기 목표에 대해 강한 버전은 거의 가망이 없다고 본다고 밝혔다.
• 대신 부분적인 이해만으로도 쓸모 있는 일을 해내는 실용적 방향이 예상보다 훨씬 많은 성과를 냈다고 평가했다.
• 분야를 관통하는 일관된 발견은 '표현이 대체로 선형적'이라는 점으로, 이는 처음부터 당연한 사실이 아니었다.
• 연구가 헛돌지 않았음을 확인하는 방법으로는 근사 정확도 측정과 '이 기법이 없으면 못 하던 일을 해내는가'라는 하위 과제 검증 두 갈래가 쓰여 왔다.
• 중첩(superposition) 현상 때문에 모델은 뉴런 수보다 훨씬 많은 개념을 담으며, 이것이 완전한 해부를 가로막는 구조적 장벽이 됐다.

쉽게 이해하기

기계적 해석가능성은 학습된 신경망 내부를 열어 어떤 계산이 벌어지는지 사람이 읽을 수 있는 언어로 옮기려는 연구 분야다. 이 강연은 해당 분야에서 오래 일해 온 연구자가 자신이 직접 겪은 흐름을 시간순으로 정리한 것으로, 희소 오토인코더가 등장하기 직전까지를 다룬다. 발표자는 처음부터 자신이 크게 생각을 바꾼 지점을 먼저 꺼냈다. 모델을 통째로 역공학하겠다는 야심찬 목표의 강한 버전은 사실상 실패했지만, 그 과정에서 나온 도구들은 이미 충분히 쓸모 있다는 것이다.

초창기 무대는 언어 모델이 아니라 이미지 분류 모델이었다. 합성곱 신경망의 앞쪽 층에서는 사람이 보기에도 명확한 패턴, 예컨대 위쪽이 밝고 아래쪽이 어두운 값을 가지는 모서리 검출기 같은 것이 관찰됐다. 2017년의 특징 시각화 연구는 특정 뉴런이 가장 강하게 반응하도록 이미지를 경사하강법으로 최적화해, 그 뉴런이 무엇을 찾고 있는지를 눈으로 보여주는 도구를 제시했다. 발표자는 당시 이 흐름이 '뉴런이 실제로 의미를 가진다'는 증거를 쌓아 올렸다고 설명한다.

이 시기의 상징적 사례가 회색고래 사진에 야구공을 붙여 모델이 백상아리라고 답하게 만든 실험이다. 야구공의 붉은 실밥과 상어 이빨을 동시에 감지하는 뉴런의 존재를 시각화로 먼저 발견하고, 그 이해를 근거로 속임수 이미지를 예측해 만들어냈다는 점에서 단순한 해프닝이 아니었다. 이해가 맞았는지를 '결과로 증명한' 초기 사례이기 때문이다. 곡선 검출 뉴런을 사람이 이해한 대로 파이썬 코드로 다시 짜 넣었더니 원래 성능 손실의 절반가량이 회복됐다는 실험도 같은 맥락이었다.

무대가 언어 모델로 옮겨가면서 상황은 복잡해졌다. 트랜스포머를 다루는 초기 이론 작업에서 잔차 스트림을 모델의 중심 객체로 보는 관점과 유도 헤드(induction head) 같은 발견이 나왔지만, 층을 쌓을수록 살펴야 할 헤드 조합이 8개에서 64개, 512개로 폭증했다. 이후 유행한 활성값 패칭 계열의 기법은 '어떤 부품이 이 과제에 중요한가'를 비교적 쉽게 알려줬지만, 발표자는 중요한 부품을 지목하는 데서 멈추고 왜 그런지는 설명하지 않는 연구가 지나치게 늘었다고 비판했다.

결정적 장벽은 중첩이다. 차원 수보다 훨씬 많은 개념을 서로 완전히 직교하지 않는 방향으로 욱여넣으면 약간의 간섭을 감수하는 대신 표현력을 크게 늘릴 수 있고, 모델은 실제로 그렇게 한다. 발표자는 사실 기억 회로를 6개월간 파고들다 결국 접었고, 중첩으로 구현된 데이터베이스가 깔끔한 설명을 가질 이유가 애초에 없다는 결론에 도달했다고 말했다. 그래서 지금은 프로브·조향 벡터처럼 비교적 쉽게 잡히는 굵직한 성질과, 끝없이 이어지는 자잘한 휴리스틱의 꼬리를 구분해서 보는 편이 현실적이라고 본다.

주요 인사이트

• 해석가능성 연구자가 스스로에게 계속 던져야 할 질문은 '내가 지금 보는 것이 모델의 실제 현상인지 어떻게 아는가'라는 검증의 문제다. 발표자는 이 물음을 분야 전체의 기초 체력으로 꼽았다.
• 활성값을 0으로 만들어 부품의 중요도를 재는 단순한 방법은 모델의 영어 구사 능력 자체를 망가뜨리거나 뒤쪽 층이 기대하던 값의 크기를 흔들어 엉뚱한 결론을 낳는다. 대신 거의 같지만 핵심만 다른 프롬프트 쌍을 쓰는 대조 설계가 널리 쓰이게 됐다.
• 앞쪽 헤드를 지우면 뒤쪽 헤드가 그 역할을 대신 떠맡는 '백업' 현상은 단순 중복과 다르다. 이 때문에 부품을 지워 영향이 작다고 해서 중요하지 않다고 결론 내리면 틀릴 수 있다.
• 논문의 그래프는 보기 좋게 고른 사례일 가능성을 기본값으로 두라는 조언도 나왔다. 평균이나 오차를 함께 제시하지 않은 그림, 특히 화제가 된 그림일수록 대표성이 낮다고 봐야 한다는 것이다.
• 여러 모델에서 같은 구조가 반복된다는 보편성 주장은 대체로 맞지만 전부 맞지는 않다는 것이 발표자의 평가다. 주장이 놀라울수록 여러 모델에서 확인하는 절차가 필요하다.

자주 묻는 질문

관련 AI 소식