LLM 토큰이란? 토크나이저 작동 원리와 모델별 비용·토큰 수 차이까지 완전 정리

핵심 메시지

• 토큰은 LLM의 '화폐'이며, 입력 토큰과 출력 토큰의 개수에 따라 사용 비용이 매겨진다.
• 같은 문장이라도 모델 제공사마다 토큰 수가 다른데, 이는 각자 다른 토큰 어휘집(vocabulary)을 쓰기 때문이다.
• 텍스트는 인코딩 과정에서 어휘집의 가장 큰 단위로 쪼개진 뒤 숫자로 바뀌며, LLM은 사실상 텍스트가 아니라 숫자로 '사고'한다.
• 어휘집이 클수록 같은 단어를 더 적은 토큰으로 표현해 효율적이지만, 그만큼 모델 크기와 메모리도 커지는 트레이드오프가 있다.
• 데이터에 드물게 등장한 단어나 언어는 더 많은 토큰으로 쪼개진다 — 영어와 흔한 프로그래밍 언어가 토큰 효율에서 유리하다.

쉽게 이해하기

발표자는 LLM을 활용하는 개발자가 늘었지만 정작 토큰 같은 기본 개념을 모르는 경우가 많다는 문제의식에서 출발한다. 그는 토큰을 'LLM의 화폐'로 정의하고, 입력 토큰과 출력 토큰 각각에 단가를 곱해 API 호출 비용이 계산되는 구조를 보여준다.

같은 'hello world'를 보내도 모델마다 토큰 수가 다르다. 예로 Anthropic 모델은 입력 11개·출력 20개로 세는 반면, 구글 Gemini는 입력 4개·출력 11개로 센다. 이 차이가 토큰을 모르면 풀리지 않는 '미스터리'처럼 보인다고 설명한다.

토큰의 실체는 어휘집에 담긴 단어·서브워드·문자 각각에 부여된 번호다. 인코딩은 텍스트를 어휘집의 가장 큰 단위로 쪼개 숫자로 바꾸는 과정이고, 디코딩은 그 숫자를 다시 텍스트로 이어 붙이는 과정이다. tiktoken 예시에서 약 2,300자 텍스트가 500개 미만의 토큰으로 변환되는 것을 보여준다.

토크나이저는 코퍼스에서 자주 함께 등장하는 문자 묶음을 서브워드로 학습한다. 문자 단위 토크나이저는 글자 수만큼 토큰이 생겨 비효율적이며, 서브워드를 도입하면 'understanding' 같은 단어를 더 적은 토큰으로 표현할 수 있다. 어휘집을 1천→5만→20만으로 키울수록 토큰 수는 줄어든다.

다만 어휘집을 무한정 키울 수는 없는데, 커질수록 모델과 메모리도 커지기 때문이다. 또 루이스 캐럴이 만든 'frabjous' 같은 드문 단어는 4개 토큰으로 잘게 쪼개지고, 데이터에 적게 등장한 언어나 비주류 프로그래밍 언어도 더 많은 토큰을 쓴다고 정리한다.

주요 인사이트

• 토큰 단가로 청구되는 구조를 이해하면 모델 선택과 비용 최적화에 곧바로 도움이 된다.
• 모델마다 토큰 수가 다른 것은 성능 차이가 아니라 토크나이저(어휘집) 설계의 차이일 뿐이다.
• 어휘집 크기는 성능과 비용의 트레이드오프이며, 모델 크기·메모리 제약 때문에 무한정 키울 수 없다.
• 데이터에 적게 등장한 언어는 토큰이 더 많이 쪼개지므로, 한국어 등으로 LLM을 쓸 때 같은 내용이라도 토큰 비용이 더 들 수 있다.
• 흔히 쓰는 프로그래밍 언어가 토큰 효율에서 유리하다는 점은 AI 시대의 숨은 이점이다.

자주 묻는 질문

관련 AI 소식