LLM 작동 원리 기초: 토큰화, 토큰 ID, 임베딩, 다음 토큰 예측 한 번에 이해하기

핵심 메시지

• LLM의 기본 동작은 입력 문장 뒤에 올 확률이 높은 단어를 예측하고, 그 과정을 반복해 문장을 완성하는 것이다.
• 컴퓨터는 문장을 그대로 받지 못하므로 토큰화 → 토큰 ID 변환 → 임베딩 벡터 변환이라는 세 단계를 거쳐 숫자로 바꾼다.
• 토큰을 나누는 방식은 모델과 토크나이저마다 다르며, 같은 문장도 다른 조각으로 쪼개질 수 있다.
• 임베딩은 의미가 비슷한 단어가 벡터 공간에서 가까이 놓이도록 만드는 과정이다.
• 확률이 가장 높은 단어만 고르면 늘 비슷한 답이 나오므로 온도(temperature)와 샘플링으로 무작위성을 더한다.

쉽게 이해하기

강의는 '나는 오늘 학교에 ___' 같은 빈칸 문제에서 출발한다. 간다, 갔다, 도착했다처럼 여러 단어가 들어갈 수 있고, LLM은 이 가운데 올 확률이 높은 단어를 고른다. 그리고 그 예측을 한 단어씩 이어 붙여 문장을 완성한다. 언어 모델이란 결국 다음에 올 단어의 확률을 예측하는 모델이라는 정의가 여기서 나온다.

이름 자체가 구조를 설명한다. LLM은 Large Language Model, 우리말로 대규모 언어 모델이다. 대규모의 텍스트에서 언어의 패턴과 문맥, 문장 구조를 통계적으로 학습하고, 그 학습한 패턴으로 새로운 말을 생성한다.

문제는 컴퓨터가 한국어나 영어 문장을 그대로 받아들이지 못한다는 점이다. 그래서 문장은 세 단계를 거쳐 숫자가 된다. 먼저 토큰화로 문장을 처리 단위인 토큰으로 쪼개고, 각 토큰을 모델의 어휘집(vocabulary)에 대응하는 토큰 ID라는 숫자로 바꾸고, 마지막으로 그 숫자를 의미를 담은 벡터로 바꾸는 임베딩을 거친다.

임베딩의 감각은 예시로 잡아 준다. '학교'와 '학생'은 관련성이 높으니 벡터 공간에서 가깝게 놓이고, '사과'는 그보다 멀리 떨어진다. 체리와 수박은 서로 가깝지만 학교와는 멀다. 이렇게 의미의 거리가 숫자의 거리로 표현되는 것이 임베딩이다.

벡터가 모델에 들어가면 문맥을 계산해 다음 토큰의 후보별 확률이 나온다. 여기서 늘 최고 확률 단어만 고르면 언제나 똑같은 답이 나오기 때문에 무작위성을 더하는데, 그 조절 장치가 온도와 샘플링이다. 다만 무작위성을 지나치게 높이면 엉뚱한 문장이 나오게 된다. 강의는 이후 코랩 실습으로 토크나이저 결과와 텍스트 생성, 온도 값에 따른 차이를 직접 확인하겠다고 예고하며 마무리된다.

주요 인사이트

• '다음 단어를 맞힌다'는 단순한 규칙이 문장 생성으로 이어지는 이유는 반복에 있다. 한 번의 예측이 끝이 아니라, 예측한 단어를 다시 입력에 붙여 다음 단어를 예측하는 과정이 계속 이어진다.
• 토큰은 단어와 다르다. 같은 문장이라도 모델과 토크나이저에 따라 나뉘는 조각이 달라진다는 설명은, 토큰 수 기반 과금이나 컨텍스트 길이 계산이 왜 모델마다 달라지는지 이해하는 출발점이 된다.
• '확률이 높은 단어만 고르면 항상 같은 답'이라는 지적은 온도 값의 존재 이유를 직관적으로 설명한다. 창의성과 안정성 사이의 조절 손잡이가 왜 필요한지가 여기서 드러난다.
• 숫자 변환을 토큰 ID와 임베딩 두 단계로 나눠 설명한 점이 유용하다. 토큰 ID는 단순한 식별 번호일 뿐이고, 의미의 유사성은 그다음 임베딩 단계에서 비로소 표현된다.

자주 묻는 질문

관련 AI 소식