생각의 사슬 해석 방법: 사고 앵커 연구로 추론 모델에서 결정적인 문장을 찾아내는 법

핵심 메시지

• 생각의 사슬을 토큰이나 뉴런이 아니라 문장 단위로 보면, 수백 문장짜리 추론에서 결과를 좌우한 문장을 골라낼 수 있다.
• 특정 문장 이후로 100번 다시 생성해 정답률이 얼마나 달라지는지 재보는 '리샘플링 중요도'가 핵심 측정 방식이다.
• 리샘플링해도 거의 같은 문장이 나오는 자리는 중요도를 재는 의미가 없어, 의미가 실제로 달라진 경우만 비교하는 반사실적 중요도를 따로 쓴다.
• 이 방식은 모델 입에 없는 말을 넣지 않기 때문에, 사슬을 손으로 고쳐 쓰는 기존 방법이 받던 '모델을 분포 밖으로 밀어낸다'는 비판을 피한다.
• 도구의 가치는 정답을 알려 주는 데 있는 게 아니라 가설을 빠르게 만들어 내는 데 있고, 만든 가설은 따로 검증해야 한다.

쉽게 이해하기

추론 모델이 답에 이르기까지 늘어놓는 생각의 사슬은 길면 수백 문장에 이릅니다. 닐 난다는 자신의 MATS 프로그램 연구자인 폴 보그단, 우자이 마자르와 함께 이 사슬을 해석하는 '사고 앵커(Thought Anchors)' 연구와 이들이 만든 시각화 도구를 처음 써 보며 검증하는 과정을 공개했습니다. 사슬을 그냥 읽는 것도 가능하지만, 어떤 문장이 실제로 결과를 좌우했는지는 읽어서는 알 수 없다는 것이 출발점입니다.

왜 뉴런이나 토큰이 아니라 문장인지에 대한 설명이 흥미롭습니다. 사슬 안에서 벌어지는 계산은 한 번의 순전파로 끝나지 않고 여러 토큰, 여러 문장에 걸쳐 일어납니다. 게다가 사슬 자체가 고정된 입력이 아니라 매번 새로 생성되는 확률적 결과이기 때문에, 기존의 회로 분석 도구를 그대로 들이대기 어렵습니다. 대신 사슬을 문장의 연쇄로 보고, 각 문장이 최종 답에 미치는 영향을 통계적으로 재는 접근을 택했습니다.

측정 방식은 두 가지입니다. 어떤 문장까지의 사슬을 남기고 그 이후를 100번 다시 생성해 정답률을 비교하는 것이 리샘플링 중요도이고, 다시 생성한 문장이 의미상 실제로 달라진 경우만 골라 비교하는 것이 반사실적 중요도입니다. 두 번째가 필요한 이유는 공식에 숫자를 대입하는 것처럼 사실상 정해진 문장은 다시 뽑아도 거의 같은 말이 나와서 차이를 만들 수 없기 때문입니다. 반대로 계획을 세우는 문장이나 불확실성을 다루는 문장은 엔트로피가 높아 다시 뽑으면 다른 말이 나오고, 그래서 두 지표의 차이가 크게 벌어집니다.

문장 사이의 연결은 어텐션 억제로 확인합니다. 앞선 문장에 대한 어텐션을 막는 것은 사실상 그 문장을 사슬에서 잘라내는 것과 같고, 이후 문장들의 로짓이 얼마나 흔들리는지를 보면 멀리 떨어진 문장끼리의 의존 관계도 드러납니다. 도구의 트리 뷰는 이 연결을 따라가며 '왜 이 답이 나왔는가'를 거슬러 올라가게 해 줍니다. 난다는 이 방식이 직접 효과만 추적하도록 설계돼 있어, 중간에 모델이 스스로 궤도를 수정해 버리는 문제를 덜 겪는다는 점을 장점으로 꼽았습니다.

사례로 쓴 문제는 16진수 6666을 2진수로 바꾸면 몇 자리인가였습니다. 자릿수마다 4비트씩이니 20이라고 답하기 쉽지만, 맨 앞 6의 선행 비트가 0이라 정답은 19입니다. 분석 결과 의심을 제기한 문장보다, 십진수를 거쳐 계산하자는 대안을 처음 제시한 문장의 반사실적 중요도가 압도적으로 높았습니다. 도구에는 시스템 카드에서 영감을 받은 협박·내부고발 시나리오도 들어 있는데, 세 사람은 수학처럼 구조가 분명한 문제에서는 통찰이 뚜렷했지만 의사결정 시나리오에서는 통찰과 그럴듯한 이야기 지어내기를 구분하기 어려웠다고 평가했습니다.

주요 인사이트

• 문장 기능은 문제 설정, 계획 수립, 사실 회상, 계산 수행, 불확실성 관리, 결과 정리 같은 범주로 자동 분류된다. 연구진은 '기다려'라는 말이 늘 방향 전환으로 이어지지는 않기 때문에 이를 되돌아가기가 아니라 불확실성 관리로 불렀다.
• 수학 문제에서는 사슬이 60% 정도 진행된 시점이면 최종 답이 사실상 결정된다. 다만 답이 정해졌다는 것과 계산이 끝났다는 것은 다르므로, 그 이후 구간도 해석 대상이 된다.
• 사슬을 손으로 고쳐 '2+4=7' 같은 틀린 문장을 넣는 기존 방식은 모델을 분포 밖으로 밀어낸다는 비판을 받아 왔다. 리샘플링은 모델이 실제로 낼 수 있는 문장만 쓰므로 이 비판에서 자유롭다.
• 한계도 분명하다. 앞의 문장을 지우면서 뒤의 문장을 그대로 두는 것은 자연스럽게 생성됐을 상태가 아니고, 문장을 잘라 구문이 깨지면서 생기는 가짜 연결도 나타날 수 있다.
• 협박 시나리오에서는 생각 태그가 닫힌 뒤의 문장을 다시 뽑았을 때 결과 분류가 크게 달라졌다. 내부 숙고만 들여다봐서는 최종 행동을 설명하기 어렵다는 뜻이다.

자주 묻는 질문

관련 AI 소식