앤트로픽 'LLM의 생물학' 리뷰: 어트리뷰션 그래프로 본 다단계 추론·운율 계획·다국어 회로

핵심 메시지

• 앤트로픽은 트랜스포머를 모방하는 '대체 모델'을 훈련시켜 내부 신호를 읽는 회로 추적 기법으로 클로드 3.5 하이쿠 내부를 분석했다.
• "댈러스가 속한 주의 수도"를 물으면 모델 내부에 텍사스 관련 특징이 실제로 활성화된다. 다만 댈러스에서 오스틴으로 곧장 가는 단어 연상 경로도 함께 존재한다.
• 운율 시를 쓸 때 모델은 줄바꿈 시점에 이미 마지막 운율 후보 단어를 떠올려 두고, 그 단어를 향해 문장을 만들어 간다.
• 다국어 처리에서는 중간 층에 언어와 무관한 개념 특징이 나타나고 입출력 층은 언어별 특징이 담당한다. 다만 영어가 사실상 기본 출력 언어로 특권을 갖는다.
• 리뷰어 야닉 킬처는 대체 모델이 원본 트랜스포머와 같은 일을 한다는 보장이 없다는 점, 앤트로픽의 서술이 자사에 유리하게 기울어 있다는 점을 한계로 지적했다.

쉽게 이해하기

야닉 킬처가 앤트로픽의 보고서 'On the Biology of a Large Language Model'을 다뤘다. 제목에 생물학이 들어간 이유는 연구 방식 자체가 생물학을 닮았기 때문이다. 서포트 벡터 머신 같은 과거의 모델은 왜 그렇게 동작하는지를 설계 단계에서 알 수 있었지만, 대형 언어 모델은 그냥 학습시킨 뒤 능력이 창발하는 것을 관찰하게 된다. 시를 쓰거나 덧셈을 하거나 여러 언어를 다루도록 아무도 프로그래밍하지 않았는데 그런 일이 벌어지므로, 이제는 대상을 찔러보고 무슨 일이 생기는지 관찰하는 생물학자의 처지에 놓였다는 것이다.

분석의 토대는 회로 추적 기법이다. 원본 트랜스포머의 어텐션은 그대로 두고 다층 퍼셉트론 부분을 '크로스 레이어 트랜스코더'라는 모델로 대체해, 모든 층의 출력을 층별로 맞추도록 훈련시킨다. 이 대체 모델에는 두 가지 장치가 들어간다. 각 층이 바로 앞 층만이 아니라 이전 모든 층의 출력을 받기 때문에 어떤 정보가 어디서 왔는지가 드러나고, 희소성 페널티를 걸어 한 번에 가능한 적은 특징만 켜지게 하므로 개념이 겹쳐 표현되는 문제가 줄어든다. 그 결과 어떤 특징이 어떤 특징을 만들었는지를 보여주는 어트리뷰션 그래프를 얻는다. 대가는 성능이다. 층별 일치, 희소성, 선형성 같은 제약을 걸수록 성능은 떨어지고 훈련은 불안정해진다.

첫 사례는 다단계 추론이다. "댈러스가 있는 주의 수도는"이라는 문장에 오스틴을 답하려면 먼저 주를 알아내고 그다음 그 주의 수도를 알아내야 한다. 어트리뷰션 그래프를 보면 댈러스가 텍사스 관련 특징들을 활성화하고, 여기에 '수도를 말하라'는 특징이 결합해 '오스틴을 말하라'는 특징을 켠다. 개입 실험도 이를 뒷받침한다. '수도를 말하라' 특징을 억제하면 출력이 오스틴에서 텍사스로 바뀌고, 댈러스 대신 오클랜드를 넣어 얻은 캘리포니아 특징을 텍사스 자리에 이식하면 답이 새크라멘토로, 조지아 특징을 넣으면 애틀랜타로 바뀐다. 흥미로운 부분은 브리티시컬럼비아처럼 주가 아닌 지역을 이식할 때는 훨씬 큰 개입 강도가 필요했다는 점이다. 다만 킬처는 댈러스에서 오스틴으로, 텍사스에서 오스틴으로 곧장 이어지는 단어 연상 경로도 동시에 존재한다는 점을 강조한다. 두 경로가 같은 방향을 가리킬 때는 문제가 없지만 서로 충돌할 때 환각 같은 현상이 생긴다는 것이다.

가장 인상적인 사례는 운율이다. "당근을 보고 잡아야 했다(grab it)"에 이어지는 행을 쓸 때, 모델이 행 끝에 가서야 운율 맞는 단어를 찾는지 아니면 처음부터 끝을 정해두는지가 질문이다. 그래프는 후자를 가리켰다. 줄바꿈 토큰 시점에 이미 '~it으로 끝나는 운율' 특징과 함께 rabbit, habit이라는 구체적 후보 단어의 특징이 켜져 있었다. 더 나아가 그 특징은 단어 자체뿐 아니라 다른 언어의 같은 뜻이나 bunny 같은 개념까지 포함하고 있었다. 개입 실험에서 운율 조건은 남기고 두 후보만 억제하면 rat이나 bandit처럼 운율은 맞는 다른 단어가 나오고, 운율 특징 자체를 억제하면 재규어나 코브라 같은 무관한 단어가 나왔다. 행 중간의 단어를 만들 때조차 미리 정해둔 끝 단어의 특징이 영향을 주고 있었다.

다국어 회로에서는 층별 역할 분담이 드러났다. 영어의 opposite와 중국어의 같은 단어는 서로 다른 특징을 켜지만, 중간 단계로 가면 언어와 무관한 '반의어' 개념 특징이 빠르게 나타나고 여기에 '작다'는 개념이 결합해 '크다고 말하라'는 언어 중립적 특징을 만든다. 마지막에 언어 지시 특징이 붙어 해당 언어로 출력된다. 이를 정량화하기 위해 같은 문단의 영어·프랑스어·중국어 번역본을 각각 흘려보내 활성 특징의 교집합 대 합집합 비율을 층별로 측정했는데, 중간 층에서 가장 높은 봉우리가 나타났다. 입력은 언어적이고 중간은 추상적이며 출력은 다시 언어적이라는 구조다.

킬처는 결론에 동의하면서도 몇 가지에 선을 그었다. 가장 큰 쟁점은 대체 모델의 타당성이다. 같은 출력을 낸다고 해서 원본 트랜스포머 내부에서 같은 일이 벌어진다는 보장은 없고, 앤트로픽이 그 반박으로 내세우는 개입 실험도 부분적으로만 설득력이 있다는 것이다. 또 큰 모델이 다국어 특징 중첩도가 높으니 더 잘 일반화한다는 결론에 대해서는, 작은 모델은 애초에 더 약한 모델이어서 올바른 특징을 켜는 데 실패한 것일 수 있으므로 동등한 비교가 아니라고 봤다. 앤트로픽 스스로도 중간 층에서는 진짜 다국어 특징을 쓰는 것처럼 보이지만 영어가 기본 출력으로 특권을 갖는다는 상충하는 증거를 인정했다.

주요 인사이트

• 계획이 일어나는 위치가 문장의 끝이라는 점이 시사적이다. 문장 중간에는 문법과 구문을 지켜야 하는 제약이 크지만 행이나 문장이 끝나는 지점에서는 자유도가 최대가 되므로, 전체 구성을 고민할 여유가 그때 생긴다. 킬처는 생각의 연쇄가 이 여유를 명시적으로 만들어주는 장치라고 해석한다.
• 환각의 발생 지점을 구조적으로 설명할 수 있다는 점이 이 분석의 실용적 가치다. 표면적 단어 연상 경로와 추론 경로가 함께 존재하는데, 정답이 통계적 연상과 어긋나는 방향일 때 두 경로가 충돌해 문제가 생긴다.
• 특징에 이름을 붙이는 작업이 자동이 아니라는 점은 유의해야 한다. 앤트로픽이 활성 사례와 예측 분포를 직접 보고 수동 또는 반자동으로 특징을 묶고 라벨을 붙였으며, 그래프도 상당히 가지치기된 상태로 제시된다.
• "모델이 생각한다"는 표현의 정확한 의미는 앞선 토큰 조합이 특정 특징을 활성화해 출력 분포를 이동시킨다는 것뿐이다. 킬처는 사례를 볼수록 의인화하기 쉬워진다는 점을 스스로 경계하며 이를 짚었다.
• 왜 항상 이 방법을 쓰지 않느냐는 질문에 대한 답은 비용이다. 트랜스코더는 훈련 비용이 크고 불안정하며, 층별 일치와 희소성 같은 정규화를 걸수록 성능을 잃는다. 해석 가능성과 성능 사이의 교환 관계가 그대로 남아 있다.

자주 묻는 질문

관련 AI 소식