ChatGPT의 35년 전사: 순환 신경망에서 트랜스포머까지 언어 모델 계보 정리

핵심 메시지

• 오늘날 대규모 언어 모델의 뿌리는 1986년 조던이 만든 소형 순환 신경망 실험이다. 출력을 되먹이는 '상태 유닛'으로 기억을 만들고, 다음 기호를 가리고 맞히게 하는 방식이 그대로 이어졌다.
• 엘먼은 띄어쓰기 없는 글자 흐름만 준 신경망이 단어 경계를 스스로 찾아내고, 내부 뉴런이 생물과 무생물, 인간과 비인간 같은 의미 범주로 단어를 군집화한다는 것을 보였다.
• 2017년 한 연구팀은 8,200만 건의 상품 후기로 학습한 신경망 안에서 텍스트의 긍·부정에 정확히 대응하는 단일 '감정 뉴런'을 발견했다. 다음 단어를 예측하는 것만으로 추상 개념이 창발한 사례다.
• 순환 신경망은 데이터를 직렬로 처리해 모든 문맥을 고정된 내부 기억에 밀어 넣어야 하는 병목이 있었고, 셀프 어텐션이 이 제약을 없애면서 규모 확장의 길이 열렸다.
• GPT-3에서 나타난 문맥 내 학습은 가중치를 바꾸지 않고도 얼어붙은 신경망에 새로운 것을 가르칠 수 있음을 보여 줬고, 프롬프트가 곧 프로그램이 되는 새로운 계산 패러다임을 열었다.

쉽게 이해하기

이 영상은 ChatGPT의 등장을 '빅뱅'에 비유하며 시작한다. 평범한 사람이 사람에게 말하듯 대화할 수 있는 최초의 프로그램이 나왔고, 언어학과 계산 분야의 많은 전문가들이 컴퓨터는 결코 인간 언어를 이해하지 못할 것이라던 자신의 믿음을 바꿨다는 것이다. 제작자는 그 충격이 어디서 왔는지를 35년의 연구 계보를 되짚으며 설명한다.

출발점은 1986년 조던의 실험이다. 그는 몇 개 되지 않는 뉴런으로 두 기호의 단순한 배열을 예측하게 하면서, 사람의 마음이 현재 관찰에 따라 다음 행동을 정하는 방식에서 착안해 '상태 유닛'이라는 기억 뉴런을 옆에 붙였다. 출력이 상태 유닛으로, 상태 유닛이 다시 중간층과 자기 자신으로 연결되면서 과거에 의존하고 미래에 영향을 주는 순환 구조가 만들어졌다. 그는 학습된 순서가 단순 암기가 아니라 일반화된 것이며, 신경망이 상태 공간 안에서 하나의 궤적, 즉 카오스 이론에서 빌려온 '끌개'를 따라간다고 봤다.

5년 뒤 엘먼은 뉴런 50개짜리 신경망에 직접 만든 짧은 문장 200개를 단어 경계 없이 글자 흐름으로만 흘려 넣었다. 신경망은 새 단어가 시작될 때 오차가 치솟고 글자가 쌓일수록 낮아지는 패턴을 보이며 단어 경계를 스스로 배웠고, 내부 뉴런을 들여다보니 단어들이 의미에 따라 공간적으로 군집화돼 있었다. 무생물은 깨지는 것과 먹을 수 있는 것으로, 생물은 인간과 비인간으로 갈라졌다. 이는 언어 패턴만으로 의미를 배우는 일이 불가능하다던 촘스키의 견해에 대한 반박이었다.

이 계열의 연구는 십수 년간 장난감 문제 취급을 받다가 2011년 다시 주목받는다. 당시 연구자들은 텍스트 압축의 한계에 도달하려면 지능에 상응하는 이해가 필요하다는 관점을 제시했고, 수천 개 뉴런과 수백만 연결로 규모를 키웠다. "삶의 의미는"이라는 프롬프트에 몇 단어는 그럴듯하게 이어 붙였지만 곧 문맥을 잃고 무너졌다. 그럼에도 그들은 수백만 뉴런과 수십억 연결이면 무차별 대입만으로도 충분할 수 있다고 적었다. 카파시는 더 큰 신경망을 셰익스피어와 수학 논문으로 학습시켜 "진짜와 거의 구별하기 어렵다"는 결과를 얻었고, 무엇을 기억할지 아무것도 정해 주지 않았는데 신경망이 스스로 결정했다는 점을 딥러닝의 힘으로 꼽았다.

2017년은 두 번의 전환점이 겹친 해다. 한 연구팀은 8,200만 건의 상품 후기로 학습한 신경망에서 감정 뉴런을 발견했고, 그 뉴런을 강제로 켜고 끄자 사람 글과 구별되지 않는 긍정·부정 후기가 생성됐다. 같은 해 번역 문제를 다루던 다른 논문은 셀프 어텐션을 제시했다. 문장 속 모든 단어가 서로를 비교해 가장 관련 있는 단어에서 의미를 흡수하게 하는 방식으로, '강가의 둑'에서 '둑'이 '강'과 가까워지듯 단어의 표현이 문맥에 맞게 변형된다. 이 구조 위에서 GPT는 도서 7천 권으로, GPT-2는 웹 데이터로, GPT-3는 1,750억 연결과 96개 층으로 확장됐다. GPT-3에서는 없는 단어의 뜻을 알려 주면 곧바로 문장에 써먹는 문맥 내 학습이 나타났고, 이후 사람의 지시를 잘 따르도록 다듬은 모델이 ChatGPT가 됐다. 영상은 "단계별로 생각해 보라"는 한 문장이 성능을 끌어올린 발견, 도구를 쓰는 에이전트로의 확장, 그리고 이 모델들이 정말 이해하는가를 두고 딥러닝의 대가들조차 갈라져 있는 현재의 논쟁으로 마무리한다.

주요 인사이트

• 이 계보를 관통하는 원리는 놀랄 만큼 단순하다. 다음에 올 것을 가리고 맞히게 하는 학습 신호 하나가 1986년의 몇 개짜리 뉴런부터 오늘날의 거대 모델까지 그대로 유지된다. 바뀐 것은 목표가 아니라 규모와 구조다.
• 지능을 '경험을 예측 모델로 압축하는 능력'으로 보는 관점이 이 흐름의 밑바탕에 있다. 텍스트 압축을 잘하려면 결국 이해가 필요하다는 2011년의 주장이, 규모를 키우면 능력이 따라온다는 이후의 전략으로 이어졌다.
• 감정 뉴런 사례는 창발을 가장 깔끔하게 보여 준다. 당시 업계는 감정 분류를 위해 별도의 전용 시스템을 학습시켰지만, 이 연구팀은 그런 작업을 전혀 하지 않았는데도 다음 단어 예측 과정에서 해석 가능하고 조작까지 되는 감정 표현이 저절로 생겼다.
• 트랜스포머의 기여는 '기억을 더 잘 만든 것'이 아니라 '기억을 없앤 것'에 가깝다. 내부 메모리를 층 안의 자기 참조로 대체하면서, 순환 구조가 안고 있던 긴 문맥의 병목이 사라졌다.
• 영상이 던지는 마지막 질문은 기술이 아니라 철학이다. 한쪽은 이 모델들이 우리 생각을 되비추는 거울일 뿐이라고 보고, 다른 쪽은 사고처럼 보이면 그것이 사고라고 본다. 제작자는 시뮬레이션된 사고와 실제 사고 사이의 선이 점점 흐려지고 있으며 어쩌면 그런 선이 없을지도 모른다고 말한다.

자주 묻는 질문

관련 AI 소식