AI 해석가능성 연구: LLM이 스스로 만든 글자 세기 도구와 뇌 ‘장소 세포’를 닮은 나선 구조

핵심 메시지

• LLM은 눈도 글자 수 정보도 없이 ‘여기에 단어를 더 넣으면 줄을 넘길까?’ 같은 질문에 답을 맞힌다.
• 모델은 시키지 않았는데도 학습 과정에서 글자 길이를 재는 ‘도구’를 스스로 발명했고, 연구자들이 그 내부를 열어 확인했다.
• 생쥐 뇌의 ‘장소 세포·경계 세포’처럼, AI 내부에도 줄의 위치나 페이지 끝을 감지하는 뉴런 유사 특성이 자라났다.
• 글자 수 계수는 나선(spiral) 형태의 저차원 곡면 위에 표현되며, 라디오 주파수를 떨어뜨리듯 값들을 분리해 신뢰도를 높인다.

쉽게 이해하기

AI 시스템에는 눈이 없다. 오직 숫자의 홍수만 들어온다. 그런데도 질문을 이해하고 어려운 시험을 통과한다. 투 미닛 페이퍼스는 이 역설을 실마리로, 오늘날의 모델이 입력 토큰을 내부의 곡선 기하 구조로 바꾸며 개념과 결정 경계를 그려낸다는 점을 소개한다. 이 과정을 아주 큰 규모로 하면 거의 마법처럼 느껴지는 성질이 나타난다.

간단해 보이는 과제 하나가 오히려 어렵다. ‘여기에 aluminum이라는 단어를 넣으면 페이지를 넘어갈까?’ 모델은 글자 수도, 페이지 폭도 받지 못한다. 심지어 입력 토큰에는 글자 수 정보조차 없다. 그러니 답하려면 스스로 글자를 세는 법을 익히고, 페이지 폭을 가늠해 빼야 한다. 그런데 모델은 이 답을 맞힌다.

왜 이게 중요한가. 처음 보는 근본적으로 새로운 과제에서 모델은 학습 단계에서 ‘줄 길이를 재는 도구가 필요하다’는 것을 스스로 알아채고 그 도구를 밑바닥부터 발명했다. 누구도 그렇게 하라고 지시하지 않았다. 그리고 이 논문 덕분에 우리는 모델을 열어 그 안에 자리 잡은 도구를 직접 들여다볼 수 있게 됐다. 진행자는 이것을 지능의 불씨일지도 모른다고 표현한다.

두 번째 이유는 신경과학과의 닮음이다. 예전에 생쥐를 상자에 넣고 뇌 활동을 기록했더니, 특정 위치에 있을 때만 발화하는 뉴런이 발견됐다. 이를 ‘장소 세포’라 부르며, 뇌가 스스로 만든 일종의 GPS다. 벽 근처에서 발화하는 ‘경계 세포’도 있다. 놀랍게도 AI는 같은 두 아이디어를 스스로 키워, 줄의 어디쯤인지 혹은 페이지 끝에 가까운지에 따라 발화하는 뉴런 유사 특성을 갖게 됐다.

논문의 표현을 빌리면, 글자 수는 생물학적 장소 세포에 비유되는 희소한 특성 가족으로 이산화된 저차원 곡면 위에 표현된다. 더 놀라운 발견도 있다. 모델은 숫자를 직접 세는 대신 토큰을 세고 대략 토큰당 네 글자로 곱한다. 또 그 계수기는 하나의 숫자가 아니라 ‘물결치는 나선’이다. 라디오 다이얼에서 가까운 두 방송이 서로 섞이듯, 나선은 각 숫자에 서로 떨어진 별도의 채널을 주어 더 신뢰할 수 있게 만든다. 이 모든 것을 아무도 시키지 않았다. 진행자는 우리가 ‘새로운 종류의 마음을 연구하는 생물학자’가 되어 가고 있다고 말한다.

주요 인사이트

• 모델이 명시적 정보 없이 글자 수를 맞힌다는 사실은, 학습이 끝난 뒤 내부에 예상치 못한 ‘도구’가 형성될 수 있음을 보여준다.
• AI 내부 구조가 생쥐 뇌의 장소 세포·경계 세포와 닮게 자라난 점은, 서로 다른 학습 과정이 비슷한 표현으로 수렴할 수 있음을 시사한다.
• 글자 수를 나선 곡면으로 표현하는 방식은 값들이 서로 간섭하지 않도록 분리해 신뢰도를 높이려는 자발적 전략으로 해석된다.
• 해석가능성 연구는 모델을 ‘열어 보는’ 도구를 제공하며, 아직 찾지 못한 내부 구조가 더 있을 수 있음을 암시한다.

자주 묻는 질문

관련 AI 소식