트랜스포머 작동 원리: 단어 임베딩·소프트맥스로 보는 ChatGPT 내부

핵심 메시지

• GPT는 Generative(생성) Pre-trained(사전 학습) Transformer(트랜스포머)의 약자이며, 핵심은 2017년 구글의 ‘Attention is All You Need’ 논문에서 나온 트랜스포머 구조다.
• 트랜스포머는 텍스트뿐 아니라 음성·이미지 생성 모델(달리, 미드저니 등)의 기반으로도 쓰이며, 본질은 ‘다음에 올 토큰의 확률 분포’를 예측하는 것이다.
• 입력은 토큰으로 쪼개져 고차원 벡터(단어 임베딩)로 바뀌고, 의미가 비슷한 단어는 공간에서 가까운 방향에 놓인다.
• 어텐션 블록은 문맥에 따라 단어 의미를 갱신하고, MLP(피드포워드)는 벡터별로 병렬 연산을 수행하며, 대부분의 계산은 행렬-벡터 곱이다.
• 마지막 벡터에 언임베딩 행렬을 곱해 약 5만 개 토큰의 로짓을 만들고, 소프트맥스로 확률 분포를 만들며, ‘온도(temperature)’로 출력의 다양성을 조절한다.

쉽게 이해하기

영상은 GPT라는 이름을 풀어보는 것으로 시작한다. Generative는 생성, Pre-trained는 방대한 데이터로 미리 학습됨, 그리고 가장 중요한 Transformer는 현재 AI에서 가장 널리 쓰이는 신경망 구조를 뜻한다. 트랜스포머는 원래 2017년 구글이 번역을 위해 발표한 구조였지만, 지금은 ChatGPT의 토대가 되었다.

트랜스포머의 본질은 ‘다음 단어 하나’를 예측하는 것이다. 한 단어를 예측해 다시 입력에 넣고 반복하면 긴 문장을 생성할 수 있다. ChatGPT에서 글이 한 단어씩 차례로 나오는 이유가 바로 이것이다. 텍스트뿐 아니라 음성-텍스트 변환, 텍스트-이미지 생성 모델도 같은 구조를 공유한다.

처리 과정은 토큰화에서 시작한다. 입력은 단어나 단어 일부 같은 토큰으로 쪼개지고, 각 토큰은 숫자 리스트, 즉 벡터로 변환된다. 이 벡터를 고차원 공간의 좌표로 보면 의미가 비슷한 단어들이 가까이 모인다. GPT-3의 임베딩 차원은 12,288차원이며, 약 5만 개 토큰을 위한 임베딩 행렬만으로도 약 6억 개의 가중치가 필요하다.

단어 임베딩의 흥미로운 성질로 ‘방향이 의미를 가진다’는 점이 강조된다. 남자에서 여자를 뺀 차이를 왕에 더하면 여왕에 가까워지고, 복수형·성별 같은 추상적 개념도 특정 방향으로 인코딩된다. 두 벡터의 유사도는 내적으로 측정하는데, 방향이 비슷하면 양수, 직교하면 0, 반대면 음수가 된다.

네트워크 끝에서는 마지막 벡터에 언임베딩 행렬을 곱해 약 5만 개 토큰에 대한 로짓을 만든 뒤, 소프트맥스로 확률 분포로 바꾼다. 이때 ‘온도(temperature)’를 높이면 가능성이 낮은 단어도 선택될 여지가 생겨 다양해지지만 엉뚱한 결과가 나올 수 있고, 0에 가까우면 가장 확실한 단어만 골라 평범해진다.

주요 인사이트

• ‘다음 단어 예측’이라는 단순한 목표가 반복을 통해 긴 글 생성으로 이어진다 — 다음 단어만 잘 예측하면 무엇이든 생성할 수 있다.
• 딥러닝 모델의 학습 가능한 값을 ‘가중치(weight)’라 부르는 이유는, 모델에서 오직 가중치만이 데이터와 직접 곱해지기 때문이다.
• 단어 임베딩에서 방향은 의미를 담는다: 남자-여자, 단수-복수, 국가-지도자 같은 관계가 벡터의 차이로 나타난다.
• GPT-3의 1750억 파라미터는 약 28,000개의 행렬로, 8가지 카테고리로 나뉘며 대부분의 연산이 행렬-벡터 곱으로 이루어진다.
• 소프트맥스의 ‘온도’는 열역학의 온도에 빗댄 이름으로, 값이 클수록 분포가 균일해지고 작을수록 최댓값에 집중된다.

자주 묻는 질문

관련 AI 소식