AI 해석가능성이란 무엇인가: 앤트로픽이 신경망 내부를 생물학처럼 들여다보는 이유

핵심 메시지

• 해석가능성은 AI 모델을 안에서부터 이해하려는 학문이며, 연구자들은 이를 새로운 생물을 다루는 생물학에 비유한다.
• 우리는 신경망을 설계해 만들지 않고 학습을 통해 기른다 — 그래서 만든 사람도 내부를 모른다.
• 빈 신경망은 뼈대일 뿐이고, 학습 과정에서 그 위로 회로가 자라나 모델의 행동을 구현한다.
• 제대로 배워서 시험을 통과한 아이와 부정행위로 통과한 아이는 밖에서 보면 결과가 같다 — 내부를 봐야 구별된다.
• 모델 생물학이 자리 잡으면 진단하고 고치는 '모델 의학'이 가능해지고, 이것이 안전성과 직결된다.

쉽게 이해하기

앤트로픽 해석가능성 팀의 연구자들은 자신들의 일을 'AI 모델을 안에서부터 이해하는 과학'이라고 소개한다. 신경망이 무엇을 학습했고 어떻게 그 일을 해내는지 알아내는 작업인데, 이들은 이를 새로운 종류의 생물을 상대하는 생물학에 가깝다고 표현한다. 팀이 택한 접근은 기계적 해석가능성으로, 아주 작은 단위를 이해하는 데서 출발해 점점 더 큰 메커니즘으로 올라가는 방식이다.

많은 사람이 의외로 여기는 지점은 애초에 해석가능성 연구가 필요하다는 사실 자체다. 우리가 만든 시스템을 우리가 이해하지 못한다는 뜻이기 때문이다. 연구자들의 설명은 이렇다 — 중요한 의미에서 우리는 신경망을 만드는 것이 아니라 기른다. 진화와 비슷하다. 작은 분자들이 부딪히다 기본적인 단백질이 생기고 세포가 되고 결국 사람에 이르렀지만, 누구도 그 결과를 설계하지 않았다. 세대마다 다듬어지고 변하는 과정이 누적된 것뿐이다.

모델도 같은 방식으로 만들어진다. 텅 빈 신경망은 무언가가 자라날 수 있는 비어 있는 뼈대에 가깝고, 학습이 진행되면서 그 안으로 회로가 자라나 모델의 행동을 실제로 구현한다. 그래서 우리는 처음에 건네준 뼈대도 알고 회로가 형성되도록 유도하는 학습 과정도 알지만, 정작 그 회로가 무엇이고 무슨 일을 어떻게 하는지는 모른다. 회로가 아주 촘촘하게 겹쳐 쌓인다는 점이 문제를 더 어렵게 만든다 — 이해하려면 겹쳐 있는 조각들을 떼어내야 한다.

왜 이 일이 안전과 직결되는지는 시험 비유가 잘 보여준다. 아이가 시험을 통과했을 때, 내용을 진짜 익혀서 통과한 것인지 부정행위로 통과한 것인지 모델 개발자의 위치에서는 결과가 똑같아 보인다. 모델 내부를 볼 수 있게 해주는 해석가능성이 없으면 이 둘을 구분할 방법이 없다. 반대로 안을 들여다볼 수 있다면 잠재적 문제를 미리 찾는 다른 렌즈가 생기고, 나사와 볼트까지 이해한다면 모델의 행동을 옳은 방향으로 조종하는 개입도 가능해진다. 연구자들이 모델 생물학에서 '모델 의학'으로 나아가겠다고 말하는 이유다.

이들은 지금 AI가 처한 상황을 1900년대 초 물리학의 황금기에 견준다. 양자역학과 특수·일반 상대성이론이 발견되고 고체물리학이 이해되기 시작하며 갑자기 여러 가지가 맞아떨어졌던 그 시기를, 해석가능성 분야가 빠르게 되짚어 달리고 있다는 것이다. 무엇이 작동하는지는 알아냈지만 그 한계는 모르고, 벌어지는 일을 설명할 적절한 어휘를 이제야 찾기 시작한 단계다. 그럼에도 가장 흥분되는 지점은 '생각이란 무엇이고 어떻게 작동하는가'라는 핵심 질문에 조금이나마 발을 붙일 수 있게 됐다는 데 있다고 이들은 말한다.

주요 인사이트

• '만들지 않고 기른다'는 표현은 단순한 비유가 아니라 연구 방법론의 근거다. 설계도가 있는 대상이 아니라 자라난 대상을 다루기 때문에, 명세를 읽는 대신 관찰과 해부에 해당하는 절차가 필요해진다.
• 무엇을 알고 있느냐와 그것을 어떻게 얻었느냐는 완전히 다른 문제다. 출력만 보고 모델을 평가하는 방식은 능력과 요령을 구분할 수 없고, 이 구분 불가능성이 곧 안전성 문제로 이어진다.
• 회로가 촘촘히 겹쳐 저장된다는 관찰은 해석가능성이 왜 기술적으로 어려운지를 설명한다. 개별 단위를 하나씩 읽어내는 것으로는 부족하고, 겹친 표현을 분리하는 작업이 선행되어야 한다.
• 이해는 그 자체로 끝나지 않고 개입 능력으로 이어진다. 내부 구조를 알면 잘못된 행동을 사후에 걸러내는 대신 원인 지점에서 바로잡을 수 있다는 것이 이 연구의 실용적 목표다.
• 물리학 황금기 비유에는 겸허함이 담겨 있다. 성과가 쌓이고 있지만 아직 현상을 부를 어휘조차 정착되지 않았다는 자기 진단이기 때문이다.

자주 묻는 질문

관련 AI 소식