AI 해석가능성 연구 정리: 잔차 스트림·희소 오토인코더와 학계 영향력 측정 결과

핵심 메시지

• 우리는 모델을 학습시키는 알고리즘은 알지만, 학습이 끝난 모델이 무엇을 배웠는지는 대체로 모른다.
• 트랜스포머를 '정보가 흐르는 잔차 스트림'으로 보면, 각 층은 그 흐름을 조금씩 고쳐 쓰는 부품이 된다.
• MLP 층은 사실 지식을 담은 키-값 메모리처럼 동작한다는 증거가 쌓였다.
• 한 뉴런이 한 개념을 담지 않는 '중첩' 문제를 풀기 위해 희소 오토인코더가 쓰이지만, 아직 완성된 과학은 아니다.
• 인용 그래프와 커뮤니티 설문 분석 결과, 해석가능성 연구는 자기들끼리 인용하는 고립된 분야가 아니라 자연어처리 전반의 중심에 놓여 있었다.

쉽게 이해하기

발표자는 해석가능성 연구를 '모델의 행동이나 내부 작동에 대한 깊은 이해를 만들어내는 모든 연구'로 넓게 정의한 뒤, 이날은 내부 계산을 들여다보는 쪽에 집중한다고 밝힌다. 흔히 쓰이는 '기계적 해석가능성'이라는 이름에 대해서는 기대가 과열돼 있다며 개인적으로 선호하지 않는다고 말하는데, 다만 자료를 찾을 때는 그 용어로 검색해야 한다는 실용적인 조언을 덧붙인다.

첫 번째 핵심 개념은 잔차 스트림이다. 트랜스포머 블록에는 어텐션과 MLP를 건너뛰는 우회 경로가 있는데, 이 우회로를 그림의 중심에 놓고 보면 모델의 주된 정보 흐름은 층을 통과하는 것이 아니라 처음부터 끝까지 이어지는 하나의 줄기이고, 각 층은 그 줄기에서 값을 읽어 조금 고친 뒤 다시 써넣는 부품이 된다. 실제로 언어모델은 초반에 이미 상당한 예측을 갖고 시작하며, 이후 층들은 특정 개념과 토큰을 조금씩 밀어 올린다.

두 번째는 MLP 층이 사실 지식의 저장소라는 관찰이다. '이탈리아의 수도'라는 질문의 답은 논리적으로 유도할 수 있는 것이 아니라 어딘가에 저장돼 있어야 하는데, 입력 행렬의 특정 행이 '이탈리아+수도'라는 열쇠 역할을 하고 출력 행렬의 대응 열이 '로마'라는 값 역할을 한다는 것이다. 연구자들은 모델 마지막에 쓰이는 출력 사영을 중간 층에 끼워 넣어, 그 지점에서 어떤 단어가 밀어 올려지는지 직접 읽는 방식으로 이를 확인했다.

세 번째는 중첩 문제다. 뉴런 하나가 개념 하나에 대응하면 해석은 쉽겠지만, 실제 모델은 가진 차원보다 훨씬 많은 특징을 표현하려 하기 때문에 축들이 서로 간섭한다. 희소 오토인코더는 활성값을 더 큰 차원으로 펼치되 동시에 켜지는 성분 수를 억제하는 손실을 걸어, 소수의 뉴런만 강하게 반응하는 해석 가능한 표현을 얻으려 한다. 실제로 DNA 서열에만 반응하는 특징, 특정 인코딩 문자열에만 반응하는 특징 등이 발견됐고, 이 특징을 인위적으로 켜면 모델의 출력이 그쪽으로 끌려간다.

발표의 후반부는 '그래서 이 연구가 실제로 영향을 주었는가'라는 질문으로 넘어간다. 결과가 지나치게 선별적이고, 특정 모델에만 통하며, 실용적 함의가 불분명하다는 비판이 있고, 한 저명한 연구자는 뉴런 해석을 '찻잎으로 점치기'에 비유하기도 했다. 발표자 연구팀은 이 논쟁을 감으로 두지 않고 데이터로 측정하는 쪽을 택했다.

주요 인사이트

• 영향력 측정에는 자연어처리 양대 학회에 2018년 이후 실린 논문들을 모아 만든 18만 5천여 편 규모의 인용 그래프와, 연구자 138명 대상 설문이 함께 쓰였다. 인용 수를 그대로 비교하면 소수의 대박 논문에 결과가 휘둘리므로, 두 분야에서 논문을 하나씩 무작위로 뽑았을 때 어느 쪽이 더 많이 인용될 확률을 보는 지표를 사용했다.
• 2023년 기준으로 해석가능성 트랙이 승률에서 밀린 상대는 대규모 언어모델과 윤리 두 트랙뿐이었고, 나머지 트랙에 대해서는 대체로 우세했다. 자기들끼리만 인용하는 것 아니냐는 반론에 대해서도, 인용의 다수가 해석가능성 바깥 분야에서 들어온다는 결과가 제시됐다.
• 네트워크에서 얼마나 '중심'에 있는지를 보는 매개 중심성 지표에서는 대규모 언어모델 트랙 다음가는 위치를 차지했다. 기계번역이나 정보 검색 같은 전통적인 분야보다 더 중심적이라는 뜻으로, 서로 다른 연구 영역을 잇는 통로 역할을 한다는 해석으로 이어진다. 커뮤니티 인식 조사에서도 응답자의 61%가 이 분야 연구자가 아니었음에도 다수가 이 연구를 중요하다고 답했는데, 정작 이 분야에 몸담은 사람들이 더 회의적이었다는 점이 눈에 띈다.
• 약 600편을 직접 분류한 결과, 사람들이 추천하는 논문은 내부 회로를 파고드는 쪽에 몰렸지만 실제로 가장 많이 인용된 논문은 분석 계열이었다. 잔차 스트림이나 키-값 메모리처럼 현상을 이해하는 '은유'를 제시한 논문이 특히 큰 파급력을 보였다는 점도 함께 지적된다.
• 발표는 회의론을 반박하는 대신 네 가지 과제로 옮긴다. 개별 현상 대신 큰 그림을 볼 것, 통찰에 머물지 말고 실제로 쓰일 수 있는 결과를 낼 것, 무엇이 해석 가능한지는 주관적이므로 사람 평가를 중심에 둘 것, 그리고 논문마다 자기 방식으로 만들고 버리는 평가 대신 표준화된 방법을 갖출 것이다.

자주 묻는 질문

관련 AI 소식