AI는 어떻게 생각하는가 - 브라운대 엘리 파블릭이 짚은 언어모델의 구조와 맥락 의존성

핵심 메시지

• 'AI가 생각하는가'라는 질문은 '어떻게 생각하는가'를 모르면 답할 수 없고, 비교 기준이 될 인간의 사고 역시 합의된 설명이 없다.
• 언어모델 내부에는 과제가 달라져도 같은 역할을 반복하는 부품 같은 회로가 있고, 서로 다른 언어로 학습된 모델에서도 같은 구조가 나타난다.
• 잠재 공간에는 '번역하는 중'이나 '패턴을 맞춰 찾는 중' 같은 작업 자체가 방향 벡터로 들어 있고, 그 방향을 밀어 주면 성능이 실제로 올라간다.
• 그 방향은 종종 '수도', '복수', '반대말'처럼 단어로 해독된다. 모델이 말 그대로 언어로 사고하는 흔적이다.
• 그럼에도 모델은 깔끔한 기호 시스템이 아니다. 추론 과정을 바꿔치기하면 절반만 따라오고, 같은 입력에도 실행할 때마다 쓰는 메커니즘이 달라진다.

쉽게 이해하기

브라운대에서 컴퓨터과학과 인지·심리과학을 함께 가르치는 엘리 파블릭 교수는 강연을 이런 전제로 연다. AI가 생각하는지 판단하려면 어떻게 생각하는지를 알아야 하는데, 비교 대상인 인간 쪽부터 합의가 없다는 것이다. 신경과학에서는 특정 개념에 일관되게 반응하는 개별 뉴런을 들여다보는 흐름과, 개별 뉴런은 의미가 없고 뇌 전체의 활성 패턴을 봐야 한다는 흐름이 나란히 근거를 쌓고 있다. 마음의 층위로 올라가도, 행동의 층위로 올라가도 사정은 비슷하다.

그래서 그는 조립식 가구의 나사에 비유한다. 어느 하나를 끝까지 조이면 판이 틀어져 나머지가 안 맞으므로, 여기 조금 저기 조금 돌려 가며 전체를 맞춰 가야 한다는 것이다. AI 쪽도 사정이 비슷하다. 디스크에 저장된 가중치라는 구조가 있고, 실행 중에만 존재하는 잠재 공간이 있고, 그 결과인 행동이 있다. 이것들을 인간의 뇌·마음·행동에 각각 대응시키고 싶어지지만, AI는 애초에 인간을 흉내 내려고 설계된 시뮬레이션이 아니어서 어떤 대응도 완벽하지 않다.

다만 그는 이제 '블랙박스'라는 말을 쓰지 않는다고 했다. 지난 몇 년의 해석가능성 연구가 완결된 이론은 아니어도 반복해서 나타나는 주제를 만들어 냈기 때문이다. 강연의 3분의 2는 그중 하나인 '구조'에 할애된다. 예로 든 것은 문장에서 반복된 이름을 피해 정답 이름을 고르는 과제다. 여기서 모델 안에는 중복된 토큰을 찾아내는 부품, 그 토큰으로 향하는 주의를 억제하는 부품, 그리고 이름을 복사해 오는 부품이 나뉘어 일한다.

흥미로운 것은 이 부품들의 재사용이다. 이름과는 아무 상관 없는 색 찾기 과제에서도 중복 탐지 부품과 복사 부품은 그대로 등장하고, 가운데 단계만 억제가 아닌 촉진으로 달라져 있었다. 실제로 이 모델은 색을 잘 못 맞혔는데, 다른 과제에서 쓰던 억제 부품으로 갈아 끼우자 성능이 회복됐다. 더 나아가 영어 모델과 중국어 모델처럼 단어가 전혀 겹치지 않는 경우에도, 통사 구조가 비슷하면 같은 부품이 같은 역할을 맡았다.

구조는 가중치에만 있는 게 아니라 활성 공간에도 있다. 예전 단어 임베딩이 왕과 여왕, 남자와 여자 사이의 관계를 기하학적 방향으로 담아냈던 것처럼, 지금의 모델은 '번역하는 중'이나 '패턴을 맞춰 사실을 찾는 중' 같은 작업 자체를 방향으로 갖고 있다. 다국어 질의응답에서 영어는 60%대인데 다른 언어는 2%까지 떨어지는 격차를 두고, 번역 방향 벡터를 주입하자 성능이 크게 올랐다. 게다가 그 방향을 단어로 강제 해독하면 '수도'나 '복수', '반대말'처럼 자기가 하는 일의 이름이 나온다.

강연의 나머지 3분의 1은 반대편 이야기다. 구조가 이렇게 뚜렷하면 모델을 잠재된 기호 시스템으로 봐도 되지 않느냐는 유혹이 생기지만, 파블릭은 그건 실수라고 말한다. 추론 모델의 계산 과정에서 중간 결과를 바꿔치기해 보면 모델은 절반 정도만 그것을 따라간다. 그것도 매 실행마다 헷갈려 동전을 던지는 게 아니라, 한 번의 실행 안에서는 꽤 확신을 갖고 답하면서 실행이 바뀌면 쓰는 메커니즘이 바뀐다. 그는 이 그림을 '예외가 규칙이고 규칙이 예외'라고 요약한다. 다 외워도 된다면 모델은 기꺼이 외웠을 텐데, 그럴 수 없으니 규칙성이 있는 자리에서만 구조가 튀어나온다는 것이다.

주요 인사이트

• 부품의 재사용은 해석가능성 연구의 성격을 바꾼다. 중복 탐지 회로는 자기 결과가 나중에 어디에 쓰일지 신경 쓰지 않고 자기 일만 한다. 그래서 한 과제에서 찾아낸 부품을 다른 과제에 갈아 끼워 성능을 되살리는 식의 개입이 가능해진다.
• 다국어 성능 격차의 원인을 '아는데 번역을 못 한 것'과 '애초에 못 찾은 것'으로 나눠 본 접근이 인상적이다. 두 경우에 각각 다른 방향 벡터를 주입해 각각의 오류가 줄어드는 것을 확인하는 방식으로, 내부 실패 지점을 실험으로 특정한다.
• 방향 벡터가 단어로 해독된다는 사실은 우연 이상으로 보인다. 사람이 읽을 수 있는 형태로 사고가 남아 있다는 뜻이라 편리하기도 하지만, 언어모델이 언어라는 매체 위에서 사고를 조직한다는 더 근본적인 특성을 시사한다.
• 구성적인 질문을 던지면 모델이 중간값을 거쳐 간다. '황산이 있는 나라의 수도'를 물으면 곧장 베이징으로 직행해도 되는데, 처리 중간층에서 '중국'이 먼저 떠오른 뒤 베이징으로 넘어간다. 신경망이 굳이 단계를 밟는다는 증거다.
• 인간에게도 같은 맥락 민감성이 있다. 색과 동물을 격자에 배치하는 과제에서 정보량이 같아도 제시 순서가 흐트러지면 사람의 성적이 급락하고, 구분 기준이 '길다/짧다'처럼 말로 옮기기 쉬우면 잘하지만 대각선처럼 애매하면 못한다. 파블릭은 이 변덕이야말로 신경망이 자연스럽게 설명해 내는 지점이라고 본다.

자주 묻는 질문

관련 AI 소식