기계적 해석가능성 입문: 희소 오토인코더로 거대언어모델 내부의 개념을 꺼내는 방법과 한계

핵심 메시지

• AI 조수를 정직하게 훈련시킬 수는 있어도, 진실성 같은 내부 개념을 직접 들여다보거나 조작할 통로는 없다.
• 하나의 뉴런이 서로 무관한 여러 개념에 반응하는 다의성 때문에, 특정 층·뉴런에 행동을 귀속시키려는 시도는 실패한다.
• 중첩 가설은 모델이 뉴런 수보다 많은 개념을 뉴런의 조합으로 표현한다고 설명하며, 희소 오토인코더는 그 조합을 찾아내는 도구다.
• 추출된 특징은 값을 키우거나 줄여 모델의 다음 단어 예측을 예측 가능한 방향으로 바꿀 수 있다.
• 수백만 개 특징을 뽑아냈지만 모델이 아는 개념의 극히 일부일 뿐이어서, 나머지는 간접적으로만 관측되는 '암흑물질'로 남아 있다.

쉽게 이해하기

영상은 도발적인 실험으로 시작한다. 챗봇에게 특정 문구를 주고 잊어달라고 하면 잊었다고 답하지만, 그 문구가 문맥창 안에 있는 한 잊는 것은 애초에 불가능하다. 계속 캐물으면 결국 문구를 그대로 되뇐다. 예시와 사후 학습으로 모델을 도움이 되고 정직하게 만들 수는 있지만, 진실성 같은 개념 자체를 직접 다룰 손잡이는 없다는 점을 보여주는 장면이다.

해석가능성 연구가 어디까지 왔는지 보려면 텍스트가 모델을 통과하는 경로를 따라가야 한다. 영상은 구글 제미나이의 축소판인 젬마 2B를 예로 든다. 여섯 단어 문장이 토큰으로 쪼개져 벡터로 변환되고, 각 층의 어텐션과 다층 퍼셉트론 블록이 만들어낸 출력이 원래 행렬에 더해지며 '잔차 스트림'을 조금씩 갱신한다. 26개 층을 모두 지난 뒤 마지막 행을 어휘 사전 크기의 벡터로 되돌리면, 다음에 올 토큰의 확률 분포가 나온다.

흥미로운 것은 그 확률이 갈라지는 방식이다. '위키백과의 신뢰성은' 다음에 올 단어로 모델은 20%대 확률로 '중요하다'를 꼽지만, 10% 안팎의 확률로 '높다'와 '낮다', '의심스럽다', '형편없다'가 뒤를 잇는다. 실제 서비스는 최고 확률 토큰만 고르지 않고 분포에서 표본을 뽑기 때문에, 같은 질문에 어떤 때는 우호적이고 어떤 때는 회의적인 답이 나온다. 지시 조정을 거친 버전에서는 균형 잡힌 답의 확률이 올라가지만, 회의적인 답이 사라지는 것은 아니다.

그래서 영상은 층 내부로 들어간다. 21번째 층 부근에서 처음으로 의심하는 표현이 상위 예측에 등장하고, 그 층의 다층 퍼셉트론 출력에서 값이 크게 튀는 뉴런 몇 개가 관찰된다. 그중 한 뉴런의 출력을 강제로 크게 만들면 모델은 위키백과를 더 신뢰하고, 반대로 뒤집으면 회의적인 표현이 순위 위로 올라온다. 그런데 이 뉴런을 가장 강하게 활성화시키는 텍스트를 대규모 데이터셋에서 찾아보면, 의심과는 무관한 약어와 고유명사의 대문자 패턴이 나온다. 하나의 뉴런이 여러 개념에 걸쳐 있는 다의성이다.

이 관찰을 설명하는 것이 중첩 가설이다. 모델은 뉴런 수보다 많은 개념을 배울 수 있고, 개념은 특정 뉴런 조합으로 표현된다는 것이다. 그래서 개념을 층이나 뉴런 단위로 떼어낼 수 없다면, 어떤 조합이 어떤 개념에 대응하는지를 학습하는 별도의 작은 모델을 두면 된다. 이것이 희소 오토인코더다. 특정 지점의 뉴런 출력에 가중치 행렬을 곱해 훨씬 많은 수의 후보 개념 벡터로 펼치고, 대부분의 값을 0에 가깝게 억제한 뒤 남은 소수의 값으로 원래 출력을 복원하도록 훈련한다. 복원이 충실하다면 살아남은 값들이 사람이 이해할 수 있는 개념에 대응한다는 논리다.

주요 인사이트

• 다의성은 언어모델에서 시각모델보다 훨씬 흔하다. 시각모델의 뉴런은 얼굴이나 자동차처럼 알아볼 수 있는 대상에 고유하게 반응하는 경우가 확인돼 있지만, 언어모델에서는 그런 깔끔한 대응을 기대하기 어렵다.
• 한 번에 하나의 뉴런만 발화하도록 구조를 강제하는 실험까지 시도됐지만, 그런 극단적인 조건에서도 다의성은 사라지지 않았다. 개념이 흩어지는 것은 학습 설정의 부작용이 아니라 더 근본적인 현상이라는 뜻이다.
• 추출한 특징은 관찰에만 쓰이지 않는다. 의심을 나타내는 특징의 값을 일정하게 고정하면 모델은 위키백과의 신뢰성을 의심하는 쪽으로 답을 만들고, 값을 지나치게 키우면 '의문'의 변형만 반복하며 문장이 무너진다.
• 특징은 언어와 형식을 넘어선다. 앞선 연구에서는 금문교에 대응하는 특징이 여러 언어의 언급뿐 아니라 다리 이미지에도 반응하는 것이 확인됐다.
• 규모를 키우는 것만으로 해결되지 않을 이유가 셋 있다. 아주 드문 특징을 뽑는 계산 비용이 지나치게 커질 수 있고, 현재 방식은 한 지점만 보기 때문에 층을 넘나드는 중첩을 풀어내지 못하며, 특징 수가 늘수록 하나하나가 지나치게 세분화돼 다루기 어려워진다.

자주 묻는 질문

관련 AI 소식