트랜스포머 vs 뇌: 피질 기둥과 연속 학습, 에너지 효율에서 드러난 AI 지능의 격차

핵심 메시지

• 트랜스포머는 마지막에 하나의 잠재공간에서 다음 토큰을 내놓지만, 신피질은 약 10만 개의 피질 기둥이 저마다 세계 모형을 만들어 동시에 투표하듯 협업한다.
• 성체 동물의 뇌에서는 4일마다 시냅스의 약 30%가 사라지고 새로 생긴다. 뇌는 연결을 더하고 끊으며 배우지만, AI 모델은 이미 만들어진 연결의 값을 조정할 뿐이다.
• 신피질은 약 70조 개의 시냅스를 10~12와트로 돌리는 반면, 같은 규모의 파라미터를 오늘날 가장 효율적인 GPU로 돌리면 1메가와트 수준이 필요하다는 추산이 나왔다.
• 생성 모델을 무손실 압축기로 보는 관점에서는 '짧게 설명하는 능력'이 곧 지능이며, 다음 토큰 예측 손실이 압축률과 같은 것을 재고 있다는 해석이 가능하다.
• 한 연구자는 오늘날의 모델이 이미 '들쭉날쭉한 형태로' 지능적이라고 봤고, 다른 연구자는 세 살 아이가 하는 일을 못 하는 격차가 여전하다고 봤다.

쉽게 이해하기

마이크로소프트 리서치의 팟캐스트 시리즈 '더 셰이프 오브 싱스 투 컴' 첫 회에서 더그 버거가 같은 회사의 니콜로 푸시, 그리고 뉴멘타의 수부타이 아마드를 불러 '기계는 지능적인가'라는 질문을 붙들었다. 세 사람 모두 트랜스포머가 등장한 2017년 이전부터 AI를 다뤄 온 연구자이고, 그래서 논의는 성능 자랑이 아니라 구조 비교로 흘렀다. 버거는 최신 모델에게 '내가 어떻게 사고하는지 설명해 달라'고 물었다가 자기 자신보다 자신을 잘 아는 답을 받고 놀랐다는 경험에서 이야기를 시작한다.

푸시는 트랜스포머의 강점을 두 가지로 정리했다. 하나는 순환 신경망처럼 모든 것을 하나의 상태에 밀어 넣도록 강요하지 않고 '비켜 준다'는 점이고, 다른 하나는 계산 병목 없이 병렬화된다는 점이다. 그는 어텐션 층이 문맥 안에서 어떤 토큰이 어떤 토큰을 가리키는지 정리하고, 피드포워드 층이 모델이 '그냥 아는' 지식을 담는 곳이라고 설명했다. 층을 오르내리는 동안 정보가 요약되어 사라지는 것이 아니라, 관련된 정보가 두드러지고 나머지가 눌리는 방식으로 정제된다는 것이 그의 해석이다.

아마드는 여기에 신경과학 쪽 그림을 겹쳤다. 1960~70년대 존스홉킨스의 버논 마운트캐슬이 발견한 대로 신피질은 약 10만 개의 피질 기둥으로 이루어져 있고, 각 기둥은 대략 5만 개의 뉴런을 가진 채 시각이든 청각이든 언어든 운동이든 거의 같은 미세 구조를 반복한다. 뉴멘타가 '천 개의 뇌 이론'이라 부르는 관점에서 각 기둥은 그 자체로 완결된 감각-운동 처리 장치이며, 자기 몫의 세계 모형을 만들고 다른 기둥들과 투표하듯 합의를 이룬다. 위도 아래도 없이 병렬로, 비동기로 돌아간다는 점에서 층을 차례로 통과하는 트랜스포머와는 작동 방식이 다르다.

효율 이야기로 넘어가면 격차가 숫자로 드러난다. 아마드는 신피질의 시냅스를 약 70조 개로 보고 이를 파라미터에 대응시켰을 때, 12와트로 돌아가는 뇌와 달리 같은 규모를 오늘날 가장 효율적인 GPU에서 돌리면 1메가와트 수준이 든다고 말했다. 뇌가 이렇게 아낄 수 있는 이유로는 희소성이 꼽혔다. 어느 순간에도 뉴런의 약 1%만 발화하고, 가능한 연결 중 약 1%만 실제로 존재해, 실질적으로는 1만분의 1 규모의 부분망만 활성화된다는 것이다.

그렇다면 결론은 무엇인가. 푸시는 '다양한 환경에서 목표를 달성할 수 있는가'라는 정의를 들어 이미 지능적이라고 봤다. 다만 올림피아드 수준의 정리를 증명하면서 기초적인 일에서는 엉뚱한 답을 내놓는 '들쭉날쭉함'이 있고, 이는 공짜 점심은 없다는 원리대로 특정 귀납 편향이 어떤 과제를 우대하는 대가라고 설명했다. 아마드는 방대한 지식을 지닌 석학형 시스템이라는 점은 인정하면서도, 끊임없이 궁금해하고 무엇이든 배우는 세 살 아이가 하는 일을 트랜스포머는 못 한다고 봤다. 격차는 있지만 메울 수 있다는 것이 그의 답이었다.

주요 인사이트

• 뇌의 학습은 값의 조정이 아니라 배선의 교체다. 성체 동물을 추적한 연구에서 4일마다 시냅스의 30%가 교체됐는데, 아마드는 이를 '무엇이 중요한지 모르니 일단 투기적으로 연결을 만들어 두고 살아남는 것만 남기는' 과정으로 해석했다. 같은 일을 오늘날 AI 모델에 시키면 모델이 망가진다.
• 주의(어텐션)와 학습 신호의 위치가 다르다. 트랜스포머는 스택 꼭대기에서 계산한 손실을 역전파로 아래까지 되돌리지만, 뉴런은 저마다 예측을 하고 자기 입력만으로 학습한다. 훨씬 국소적이고 세밀한 학습 신호가 흐른다는 뜻이다.
• 푸시는 사전학습의 '교사 강요' 방식을 자신의 불만으로 꼽았다. 사람은 생각할 때마다 정답을 받아 보지 않는데, 모델은 단어를 하나 맞힐 때마다 즉시 정답이 채워진 뒤 다음으로 넘어간다. 감독 신호를 최대한 뽑아내기 위한 선택이지만, 충분한 컴퓨트가 있다면 오히려 없는 편이 나을 수 있다는 것이다.
• 트랜스포머가 사람보다 확실히 잘하는 일도 분명하다. 푸시는 앞서 알려 준 비밀번호를 몇 시간 분량의 낭독 뒤에도 정확히 되찾아내는 '건초 더미 속 바늘' 과제를 예로 들었다. 사람의 기억은 감쇠하지만 모델은 제곱 규모의 어텐션 연산을 반복해 찾아낸다.
• 버거가 던진 가설 — 작고 효율적인 디지털 피질 기둥을 만들어 모든 센서마다 붙이고 수십억 개를 연결하면 어떻게 될까 — 에 아마드는 초지능 시스템이 결국 그런 방식으로 만들어질 것이라 답했다. 다만 그것은 지금의 거대 단일 모델 노선과는 하드웨어 구조부터 학습 방식까지 전부 다시 생각해야 하는 길이다.

자주 묻는 질문

관련 AI 소식