LLM 내부 회로 해부하기: 덧셈과 환각, 거절과 탈옥을 설명한 앤트로픽 연구와 그 비판

핵심 메시지

• 앤트로픽은 원래 트랜스포머를 흉내 내되 층을 가로지르는 연결과 희소성을 갖춘 '대체 모델'을 학습시켜, 무엇이 무엇에 영향을 주는지 추적하는 어트리뷰션 그래프를 만들었다.
• 모델은 두 자리 덧셈을 자릿수 계산으로 풀지 않고, '90 언저리', '9로 끝나는 수 더하기' 같은 근사 경로 여러 개를 병렬로 돌려 답을 합성한다. 정작 어떻게 풀었냐고 물으면 받아올림을 했다고 설명한다.
• 모델 안에는 항상 켜져 있는 '대답을 거절하는' 기본 회로가 있고, 아는 이름이 들어오면 그 회로가 억제된다. 유명하지만 실제로는 쓰지 않은 논문을 지어내는 환각은 이 억제가 잘못 작동한 결과로 설명된다.
• 거절은 도덕이 아니라 표면적 상관관계에 가깝다. 표백제와 암모니아가 함께 등장하면 유해 요청 특징이 켜지는 식이어서, 조합을 비껴가는 탈옥에 쉽게 뚫린다.
• 해설자는 연구 자체의 완성도는 높게 평가하면서도, 상당 부분은 '학습이 작동한다'는 사실을 어려운 언어로 포장한 것이며 안전 감사 권위를 확보하려는 마케팅이 섞여 있다고 비판했다.

쉽게 이해하기

얀닉 킬처가 앤트로픽의 블로그 연구 '대규모 언어 모델의 생물학(On the Biology of a Large Language Model)'을 해설한 2부 영상이다. 연구진은 클로드 3.5 하이쿠를 대상으로, 원 모델의 출력뿐 아니라 중간 표현까지 흉내 내도록 학습시킨 대체 모델을 만든다. 이 대체 모델은 층을 가로지르는 연결을 허용해 아래층의 특징이 그냥 통과되는 대신 무엇이 무엇에 영향을 주는지 직접 드러나게 하고, 희소성을 강제해 특징을 솎아 낸다. 여기서 얻은 것이 어트리뷰션 그래프이며, 실제 추론과 답은 여전히 원래 트랜스포머가 내놓는다.

가장 흥미로운 사례는 덧셈이다. 36과 59를 더할 때 입력 쪽에서는 '30 언저리', '36', '6으로 끝남' 같은 특징이 동시에 켜진다. 그리고 등호 토큰이 등장하는 순간 계산 특징들이 깨어난다. '40대와 50대를 더하는 중', '약 57을 더함', '9로 끝나는 수를 더함' 같은 특징들이 각자 어림값을 내고, 여기서 '결과가 5로 끝날 것', '90대일 것' 같은 신호가 합쳐져 95라는 답이 나온다. 반면 모델에게 어떻게 계산했냐고 물으면 일의 자리를 더하고 받아올림을 했다고 답한다. 앤트로픽은 이를 능력은 있지만 그 과정에 대한 메타인지가 없는 사례로 해석했다. 해설자는 이 대목에서 조심스러운 단서를 단다. 대체 모델이 애초에 직접적이고 희소한 표현을 갖도록 학습됐기 때문에, 원래 트랜스포머는 제대로 계산하는데 대체 모델이 근사 경로를 만들어 낸 것일 수도 있다는 것이다. 그는 트랜스포머가 실제로 그런 지름길을 쓸 가능성도 충분하다고 인정하면서도, 방법론의 한계일 가능성을 배제하면 안 된다고 짚는다. 한편 덧셈 특징이 수학 문제뿐 아니라 천문 관측 시간 계산이나 비용 표 같은 맥락에서도 활성화된다는 점은, 모델이 인터넷의 수많은 표에서 암묵적으로 산수를 익힌다는 오래된 가설과 맞닿는다.

의료 진단 사례에서는 모델이 증상만 보고 곧바로 '시야 장애를 물어보라'는 답을 내놓지만, 내부에는 증상 특징들이 모여 만든 진단 표상이 자리 잡고 그로부터 추가 진단 기준 특징이 파생된다. 겉으로는 한 번에 건너뛴 것처럼 보여도 중간 개념을 실제로 만들어 낸다는 뜻이다. 다만 해설자는 트랜스포머의 층 수가 유한하기 때문에 높은 층에서 만들어진 표상 위에 쌓을 수 있는 연산이 제한된다고 지적한다. 생각을 토큰으로 뱉어 놓고 다시 입력으로 받는 이른바 사고 토큰이 효과를 내는 이유도 여기에 있다. 출력한 뒤 전체 층을 다시 쓸 수 있기 때문이다.

환각과 거절 부분에서 해설자의 비판이 본격화된다. 연구는 모델 안에 늘 켜져 있는 기본 거절 회로가 있고, 아는 개체가 입력되면 '아는 답' 특징이 이를 억제해 답을 하게 된다고 설명한다. 안드레이 카파시가 쓰지 않은 논문을 저자로 붙여 답하는 사례는 유명한 이름이 억제를 유발한 결과다. 해설자는 이것이 결국 미세조정에서 '모르겠다'는 답의 확률을 끌어올린 결과일 뿐이며, 다른 답의 확률이 낮을 때 그 답이 이긴다는 단순한 이야기라고 본다. 거절도 마찬가지다. 표백제나 암모니아를 따로 물으면 답하지만 둘을 합치면 거절하는 것은, 어휘 수준의 상관관계를 학습시킨 결과에 가깝다는 것이다.

탈옥 사례의 분석은 특히 구체적이다. 각 단어의 첫 글자를 모아 단어를 만들라는 우회 프롬프트에서 모델은 문제의 문장을 내놓은 뒤에야 거절한다. 학습된 방아쇠가 단어 하나가 아니라 특정 구절 조합이었기 때문에, 자기가 그 구절을 출력해 문맥에 다시 넣기 전까지는 거절이 켜지지 않는다. 그마저도 문장 도중에는 문법과 의미의 연속성이 압도해 거절 확률을 누르고, 문장이 끝나 다음 토큰의 불확실성이 커지는 순간에야 거절이 이긴다. 해설자는 이를 두고 구두점이 특별한 토큰이라기보다 엔트로피가 열리는 지점이라고 설명한다. 마지막으로 다뤄진 것은 보상 모델 편향 실험이다. 연구진은 보상 모델이 특정 취향을 갖는다는 내용의 합성 문서로 세계관을 심고, 그중 일부만 미세조정으로 강화한 뒤 나머지 편향까지 함께 강해지는지를 확인했다. 해설자는 이 결과를 두고 상관된 단어들의 확률을 함께 밀어 올린 것일 뿐 '학습이 작동한다'는 사실 이상은 아니라고 잘라 말한다. 그는 연구의 철저함과 공개된 데이터의 가치는 높이 평가한다고 여러 차례 밝히면서도, 이런 결과를 정렬 실패의 서사로 포장하고 안전 감사의 권위를 주장하는 태도에는 동의하지 않는다고 결론짓는다.

주요 인사이트

• 모델의 자기 설명과 실제 내부 동작은 별개로 학습된다. 설명을 잘한다고 해서 그 설명대로 계산한다는 보장이 없다는 점은, 사고 과정 출력을 근거로 모델을 신뢰할 때 유의해야 할 지점이다.
• 해석 도구가 만들어 낸 그림이 원 모델의 진실이라는 보장도 없다. 대체 모델을 통해 관찰한 근사 경로가 방법론의 산물일 가능성을 열어 두는 태도가 필요하다.
• 산수 능력이 수학 문서가 아니라 표와 기록처럼 숫자가 흔한 일반 텍스트에서 자란다는 관찰은, 흔한 숫자일수록 계산이 정확한 이유를 자연스럽게 설명한다.
• 안전 미세조정이 어휘 조합 수준의 방아쇠로 구현되면 방어는 끝없는 두더지잡기가 된다. 조합만 비껴가면 뚫리고, 반대로 무해한 요청까지 막는 성가신 거절이 함께 늘어난다.
• 문장 중간과 문장 끝에서 모델의 행동이 달라지는 이유를 엔트로피로 설명한 대목은 검증 가능한 가설이다. 해설자는 문장 연속성을 인위적으로 깨뜨렸을 때도 같은 시점에 거절이 나오는지 확인하면 된다고 제안했다.

자주 묻는 질문

관련 AI 소식