LLM 해석가능성 연구: 앤스로픽이 공개한 대규모 언어 모델의 내부 회로, 병렬 계산과 계획 능력

핵심 메시지

• 앤스로픽 해석가능성 팀은 언어 모델을 '설계된 기계'가 아니라 학습으로 '길러진 유기체'로 보고, 생물학처럼 완성된 개체를 해부하는 방식으로 연구한다.
• 뉴런 하나하나는 해석되지 않지만, 희소 오토인코더로 뉴런들의 선형 결합을 뽑아내면 '금문교' 같은 하나의 개념에 대응하는 특징이 나타난다.
• 특징들을 인과 그래프로 연결해 보면 모델은 '댈러스 → 텍사스 → 오스틴'처럼 중간 개념을 실제로 거쳐 간다.
• 모델은 한 번에 한 단어만 뱉는 것처럼 보여도 운율이 맞는 마지막 단어를 미리 정해 두고 문장을 거꾸로 설계한다.
• 환각은 '모르겠다'는 기본 반응을 아는 인물 정보가 눌러 주는 구조에서 나오며, 그 억제를 인위적으로 풀면 없는 사실을 지어낸다.

쉽게 이해하기

스탠퍼드 CS25 강의에 초청된 앤스로픽의 조슈아 뱃슨은 해석가능성 팀에서 '회로(circuits)' 연구를 이끄는 인물이다. 그는 자신들의 100쪽짜리 인터랙티브 블로그 형식 논문 제목을 그대로 딴 '대규모 언어 모델의 생물학'을 주제로 발표했다. 여기서 '생물학'은 은유가 아니라 연구 태도에 가깝다. 신경망은 경사하강법으로 자라난 결과물이라, 진화로 만들어진 생명체를 다루듯 완성된 개체를 관찰하고 해부해야 한다는 뜻이다.

그는 모델이 '만들어진 것이 아니라 길러진 것'이라고 표현했다. 구조는 뼈대일 뿐이고 데이터는 양분, 손실 함수는 그쪽을 향해 자라게 만드는 햇빛에 가깝다. 그래서 학습 전 구조도를 들여다봐도 얻는 것이 별로 없고, 결국 완성된 모델 안에서 무엇이 어떻게 표현되는지를 직접 봐야 한다는 것이다.

첫 시도는 뉴런 하나가 무엇에 반응하는지 보는 것이었지만, 언어 모델의 뉴런은 코드와 중국어와 수식이 뒤섞여 활성화돼 해석이 되지 않았다. 대신 연구팀은 어느 순간에도 모델이 쓰는 개념은 몇 개뿐일 것이라는 가정을 두고, 활성값을 희소한 조합으로 분해하는 사전 학습(dictionary learning)을 적용했다. 클로드 3 소네트의 중간 층에서 약 3천만 개의 특징을 뽑아냈고, 그중 하나는 영어로 금문교를 언급할 때는 물론 다른 언어로 번역했을 때, 사진으로 보여줬을 때, 심지어 '샌프란시스코에서 마린으로 운전해 갔다'는 간접적인 언급에도 반응했다.

여기서 한 걸음 더 나아가, 팀은 MLP 층들을 '교차 층 트랜스코더'로 대체한 근사 모델을 학습시켜 특징들 사이의 인과 관계를 추적했다. 어텐션은 설명하지 않고 그대로 통과시키는 한계가 있지만, 이 방식으로 '댈러스가 있는 주의 주도는' 이라는 문장에서 텍사스 관련 특징이 오스틴을 말하게 하는 특징으로 흘러가는 경로가 드러났다. 텍사스 부분을 캘리포니아로 바꿔 넣으면 새크라멘토, 조지아면 애틀랜타, 비잔틴 제국이면 콘스탄티노플이 나왔다.

발표의 결론은 널리 퍼진 세 가지 통념을 뒤집는 것이었다. 모델이 비슷한 학습 데이터를 그대로 흉내 낼 뿐이고, 얕은 어림짐작만 쓰며, 한 단어씩 즉흥적으로 뱉는다는 통념이다. 뱃슨은 대신 모델이 언어를 넘나드는 추상적 표현을 만들고, 여러 계산을 동시에 병렬로 굴리며, 여러 토큰 앞을 내다보고 계획한다는 증거를 차례로 제시했다.

주요 인사이트

• 다국어 처리에는 언어별 '내부 인격'이 따로 있지 않았다. '작다의 반대는 크다'를 영어·프랑스어·중국어로 넣으면 앞뒤 층에서는 토큰이 전혀 겹치지 않지만 중간 층에서는 같은 특징들이 크게 겹쳤고, 이 공유 비율은 18개 층짜리 작은 모델보다 하이쿠에서 더 높았다. 추상화가 모델 규모에 따라 강해진다는 뜻이다.
• 덧셈은 사람이 배운 방식과 전혀 달랐다. 36 더하기 59를 풀 때 모델은 자릿수를 올리는 대신 '끝자리가 무엇인가'와 '대략 어느 범위인가'를 병렬로 계산해 95로 좁혔다. 정작 어떻게 풀었냐고 물으면 표준 받아올림 알고리즘을 썼다고 답하는데, 이는 사실이 아니었다.
• '끝자리 6 더하기 끝자리 9' 특징은 산수 문제뿐 아니라 천문 관측 표의 종료 시각, 학술지 권호와 발행 연도 같은 전혀 다른 맥락에서도 활성화됐다. 학습 중 익힌 작은 계산 모듈이 재사용되고 있다는 구체적인 증거다.
• 환각의 구조는 뜻밖에 단순했다. 어시스턴트로 답할 때는 '답할 수 없다'는 특징이 항상 켜져 있고, 마이클 조던처럼 아는 인물이 나오면 그 특징이 눌리면서 실제 답이 통과한다. 지어낸 이름에도 '아는 답'을 인위적으로 키우면 모델은 체스를 둔다고 지어냈다.
• 운율이 있는 시를 쓸 때 모델은 줄바꿈 시점에 이미 'rabbit'을 떠올리고 그 단어로 끝나도록 문장을 구성했다. 해당 특징을 끄면 'habit'으로 끝나는 문장이, 다른 운을 주입하면 그 운에 맞는 문장이 나왔다.

자주 묻는 질문

관련 AI 소식