LLM 해석 가능성: 앤트로픽이 언어 모델의 내부 사고 회로를 추적하고 개입하는 법

핵심 메시지

• AI는 프로그래밍된 것이 아니라 학습을 통해 스스로 문제 해결 전략을 익힌 존재라 내부가 블랙박스로 남는다.
• 앤트로픽은 뇌를 연구하는 신경과학자처럼, 모델 내부의 사고 과정을 관찰하는 도구를 개발했다.
• 모델 안에서 개념들이 서로 연결돼 논리 회로를 이루는 모습을 실제로 볼 수 있다.
• 시의 다음 행을 쓸 때 클로드는 첫 단어를 쓰기 전에 이미 운율을 맞출 단어를 계획한다.
• 내부 회로에 개입해 계획을 바꿀 수 있다는 사실은 모델이 미리 계획한다는 강한 증거이며, 이는 AI를 더 안전하게 만드는 열쇠다.

쉽게 이해하기

흔히 AI는 블랙박스라고 불린다. 말이 들어가고 말이 나오지만 왜 그렇게 답했는지 알 수 없기 때문이다. 앤트로픽은 그 이유를 AI가 프로그래밍된 게 아니라 학습을 통해 스스로 전략을 익힌 데서 찾는다. AI를 더 유용하고 신뢰할 수 있으며 안전하게 만들려면 이 블랙박스를 열어 왜 그렇게 행동하는지 이해해야 한다.

다만 블랙박스를 여는 것만으로는 부족하다. 안을 들여다봐도 무엇을 보고 있는지 해석할 방법이 없기 때문이다. 앤트로픽은 이를 뇌를 조사하는 신경과학에 빗댄다. 내부에서 무슨 일이 일어나는지 알아내려면 전용 도구가 필요하며, 모델이 개념들을 어떻게 연결해 질문에 답하는지 보고자 한다.

연구진은 이제 모델의 내부 사고 과정 일부를 관찰하는 방법을 개발했고, 개념들이 연결돼 논리 회로를 이루는 모습을 볼 수 있게 됐다. 이 관찰과 개입은 모델이 정말로 나름의 방식으로 '생각'하고 있음을 시사하며, 이를 이해하는 것이 장기적으로 AI를 더 안전하고 신뢰할 수 있게 만드는 길이라고 본다.

주요 인사이트

• 시 짓기 실험이 대표적이다. '그는 당근을 보고 잡아야 했다'로 시작하는 시의 둘째 행을 클로드에게 맡기면, 클로드는 행의 첫머리를 쓰기도 전에 이미 운율을 계획한다. '당근(carrot)'과 '잡다(grab it)'를 보고 이와 어울리며 운이 맞는 'rabbit(토끼)'을 떠올린 뒤 '그의 허기는 굶주린 토끼 같았다'라고 완성한다.
• 같은 자리에서 모델은 'rabbit' 외에 'habit(습관)' 같은 다른 후보도 함께 떠올리고 있었다. 즉 하나의 정답만이 아니라 시를 이어갈 여러 방향을 동시에 두고 있었던 셈이다.
• 연구진은 이 회로에 직접 개입할 수 있다. 둘째 행을 계획하는 동안 'rabbit'을 억누른 뒤 다시 완성하게 하면 '그의 허기는 강력한 습관이었다'가 나온다. 마지막 행이 쓰이기 훨씬 전에 이런 변화를 일으킬 수 있다는 것은 모델이 미리 계획한다는 강한 증거다.
• 이 시 계획 결과와 논문 속 다른 사례들은 모델이 자기 나름의 방식으로 무엇을 말할지 실제로 사고하는 세계에서만 말이 된다. 신경과학이 질병 치료와 건강에 기여하듯, 앤트로픽의 장기 목표는 이 이해를 바탕으로 모델을 더 안전하고 신뢰할 수 있게 만드는 것이다. 모델의 마음을 읽을 수 있다면 그것이 의도대로 작동하는지 훨씬 더 확신할 수 있다.

자주 묻는 질문

관련 AI 소식