토큰화와 바이트 페어 인코딩(BPE) 쉽게 이해하기 - LLM의 첫 단계

핵심 메시지

• LLM은 단어나 개별 글자가 아니라 '토큰'이라는 단위로 텍스트를 처리한다.
• 모든 단어를 통째로 토큰화하면 토큰이 너무 많아지고, 모든 글자를 토큰화하면 정보가 부족해지므로 그 중간이 필요하다.
• 바이트 페어 인코딩(BPE)은 가장 자주 함께 등장하는 글자쌍을 반복적으로 하나의 토큰으로 합쳐 나간다.
• 이렇게 만들어진 토큰은 접두사·접미사(예: 과거형 'ed')처럼 의미 정보를 일부 보존한다.
• 토큰화는 트랜스포머 구조에서 임베딩·위치 인코딩·어텐션에 앞서는 가장 첫 번째 단계다.

쉽게 이해하기

루이스 세라노(Luis Serrano)는 자신의 트랜스포머 시리즈의 일부로 토큰화(tokenization)와 바이트 페어 인코딩(BPE)을 설명한다. 그는 언어 모델이 'write', 'a', 'story' 같은 단어를 그대로 보지 않고, 이를 토큰이라는 단위로 나눠서 본다고 말한다. 대체로 하나의 단어가 하나의 토큰이 되지만, 'doesn't' 같은 복잡한 단어는 'does'와 'n't'처럼 둘 이상의 토큰으로 쪼개진다.

토큰화에는 두 극단이 있다. 모든 단어를 하나의 토큰으로 두면 모델이 처리해야 할 토큰이 지나치게 많아진다. 반대로 모든 글자를 각각 토큰으로 두면 사전(토큰 종류)은 작아지지만 토큰 하나가 담는 정보가 거의 없어, 짧은 문장도 많은 토큰으로 이뤄지게 된다. 모든 토큰은 매번 신경망 전체를 통과해야 하므로 이는 비용이 큰 방식이다. 따라서 대부분의 단어는 토큰이 되고, 복잡한 단어만 논리적으로 여러 토큰으로 쪼개지는 '중간' 지점을 원한다.

세라노는 BPE의 작동을 'hug, hugs, bug, bugs' 네 단어로 이뤄진 작은 예시로 보여준다. 처음에는 모든 글자를 토큰으로 두고 시작한다. 그다음 현재 토큰들 중 가장 자주 함께 등장하는 쌍을 찾아 하나로 합친다. 예시에서는 'u'와 'g'가 가장 자주 붙어 나오므로 'ug'를 하나의 토큰으로 만든다. 이 과정을 반복하며 'hug', 'bug' 같은 토큰이 차례로 만들어진다.

이렇게 만들어진 토큰은 단순한 압축 이상의 의미를 담는다. 복수형을 나타내는 's'가 별도 토큰으로 남으면 단수·복수 정보를 전달하고, 'walked'·'talked'가 'walk'/'talk' + 'ed'로 쪼개지면 모델은 처음 보는 단어라도 접미사 'ed'를 통해 그것이 과거형임을 추정할 수 있다.

주요 인사이트

• 토큰은 LLM의 '기본 building block'이다. 모델의 성능·비용을 이해하려면 텍스트가 어떻게 토큰으로 나뉘는지부터 알아야 한다.
• BPE의 핵심 아이디어는 단순하다 — 가장 빈번한 인접 쌍을 반복적으로 병합해 '키 입력 수(작업량)'를 줄이는 것이다.
• 동점(빈도가 같은 쌍)이 생기면 무작위로 하나를 고른다는 점에서, 토큰 사전은 학습 코퍼스에 따라 달라질 수 있다.
• 접두사·접미사가 토큰으로 분리되어 남기 때문에, 토큰화는 형태소 수준의 의미 단서를 일부 보존한다.
• 토큰화는 임베딩·위치 인코딩·어텐션·소프트맥스로 이어지는 트랜스포머 파이프라인의 출발점이다.

자주 묻는 질문

관련 AI 소식