트랜스포머 구조 해부 강의: 토크나이저·어텐션·잔차 스트림으로 보는 LLM 작동 원리와 GPT-2 구현

핵심 메시지

• 2017년 발표된 트랜스포머 구조는 지금까지 거의 바뀌지 않았고, 달라진 것은 모델 크기와 학습 데이터의 양이다.
• 모델이 학습 데이터보다 훨씬 작은데도 다음 토큰을 잘 맞힌다는 사실이, 강연자가 '압축이 곧 이해'라고 주장하는 근거다.
• 잔차 스트림은 각 블록이 정보를 읽고 쓰는 정보 고속도로이며, 모델 내부에 개입하는 연구는 대부분 이곳을 건드린다.
• 어텐션은 질문(쿼리)·응답자(키)·응답 내용(값)의 구조로 토큰 사이에 정보를 흐르게 하고, 인과 마스크가 미래를 훔쳐보지 못하게 막는다.
• 이 분야는 대부분 경험적으로 굴러가며, 특정 구조가 왜 잘 작동하는지에 대한 제대로 된 이론은 아직 없다.

쉽게 이해하기

강연자는 현대 대규모 언어모델을 떠받치는 트랜스포머 구조를 설명하면서, 2017년 원본 논문 이후 구조 자체는 크게 바뀌지 않았다고 말한다. 활성화 함수의 종류, 블록의 순서, 위치 정보를 넣는 방식 정도가 달라졌을 뿐이고, GPT-4와 GPT-2의 차이도 구조적으로는 그리 크지 않다는 것이다. 실제로 달라진 것은 규모다. 모델이 훨씬 커지고 훨씬 많은 데이터로 학습됐다.

모델은 글자를 모르고 숫자만 다루기 때문에 먼저 토크나이저가 텍스트를 토큰 번호의 나열로 바꾼다. 이 토크나이저는 1990년대 압축 기법에 가까운 방식으로 미리 만들어지고 학습 중에는 바뀌지 않는다. 흔한 영어 단어는 토큰 하나를 통째로 차지하지만, 드문 단어나 외국어는 잘게 쪼개져 같은 내용을 표현하는 데 더 많은 토큰이 필요해진다.

모델의 출력은 하나의 정답이 아니라 다음 토큰에 대한 확률 분포다. n개의 토큰을 넣으면 각 접두사마다 n개의 예측이 동시에 나오고, 학습은 이 예측들이 실제 다음 토큰 쪽으로 조금씩 기울도록 가중치를 조정하는 과정이다. 미래를 볼 수 없게 막는 인과 제약 덕분에 모든 예측을 병렬로 계산할 수 있고, 순차적으로만 돌아가던 RNN·LSTM이 밀려난 결정적 이유도 여기에 있다.

내부 구조는 토큰 임베딩과 위치 임베딩을 더한 뒤 여러 개의 트랜스포머 블록을 통과시키고, 마지막에 언임베딩과 소프트맥스를 거쳐 확률 분포를 내놓는 형태다. 강연자는 블록 사이를 관통하는 잔차 스트림을 정보 고속도로에 비유한다. 중간 지점의 잔차 스트림을 꺼내 미리 언임베딩해도 완전한 헛소리가 아니라 최종 출력의 조악한 근사가 나오고, 그래서 모델을 조종하거나 해석하는 연구가 이 통로에 달라붙는다는 설명이다.

블록 안에서 MLP는 토큰마다 독립적으로 작동해 '지금까지 모은 정보를 혼자 곱씹는' 역할을 하고, 어텐션은 토큰 사이를 잇는다. 각 토큰은 쿼리로 질문을 던지고, 키로 응답할 상대가 정해지며, 값으로 실제 내용을 주고받는다. 인과 마스크는 미래 위치의 점수를 음의 무한대로 채워 소프트맥스 이후 0이 되게 만드는 방식으로 구현된다. 강연자는 이런 세부 설계 대부분이 왜 작동하는지 설명하지 못한 채 경험적으로 채택됐다고 솔직히 인정한다.

주요 인사이트

• 강연자는 GPT-2 스몰이 약 0.5GB 크기로 150GB 규모의 텍스트를 학습했다는 점을 들어, 모델이 데이터를 통째로 외울 수는 없으므로 어떤 형태로든 언어를 일반화해 압축했다고 주장한다.
• 탐욕적으로 가장 확률 높은 토큰만 고르면 같은 단어를 반복하는 루프에 빠지기 쉬워, 분포에서 샘플링하거나 온도 값으로 분포를 평평하게 만드는 방식이 함께 쓰인다.
• GPT-2는 프롬프트와 자신이 생성한 부분을 구분하는 특수 토큰이 없어, 매 토큰마다 전체를 다시 읽고 다음 글자를 쓰는 기억상실 상태에 가깝다.
• 층 정규화는 선택 사항이 아니라 필수에 가깝다. 강연자는 이 부분을 떼고 학습을 돌리면 손실이 폭발한다고 직접 확인해 보라고 권한다.
• 어텐션 패턴은 사람이 눈으로 보고 의미를 짐작할 수 있는 거의 유일한 가중치이며, 초기 층 헤드는 '바로 왼쪽 토큰 보기'처럼 단순한 일을, 후반부 헤드는 앞선 정보에 따라 조건부로 움직이는 일을 맡는 경향이 있다.

자주 묻는 질문

관련 AI 소식