토큰화 벡터화 임베딩 차이: NLP와 LLM이 텍스트를 숫자로 바꾸는 3단계

핵심 메시지

• 컴퓨터는 텍스트의 의미를 숫자로 연산하므로, 자연어를 처리하려면 먼저 숫자로 변환해야 한다.
• 토큰화는 텍스트를 단어·형태소·서브워드 같은 의미 있는 최소 단위로 나누는 과정이다.
• 벡터화는 나뉜 단위를 숫자 벡터로 표현하는 것으로, 백오브워드나 TF-IDF 같은 기법을 쓴다.
• 임베딩은 단어·문장의 문맥적 의미와 유사도까지 반영해 저차원의 밀집(dense) 벡터로 만든다.
• 임베딩 결과는 다차원 공간에 점으로 심어지며, 코사인 유사도나 유클리드 거리로 의미적 가까움을 잰다.

쉽게 이해하기

영상은 토큰화, 벡터화, 임베딩이라는 비슷해 보이는 세 용어의 차이를 다룬다. 생성형 AI에 텍스트로 질문해도 내부에서는 모두 숫자로 처리된다. 컴퓨터는 인간의 언어를 직접 이해하지 못하고 숫자로 연산하기 때문에, 텍스트를 숫자로 바꾸는 이 과정이 자연어 처리의 출발점이다.

토큰화는 주어진 텍스트를 분석 목적에 맞는 의미 있는 단위로 나누는 일이다. 띄어쓰기나 구두점으로 나누기도 하고, 한국어처럼 조사·어미가 있는 언어는 형태소 분석기(코엔엔파이, 메캡, 키위 등)를 쓰기도 한다. 트랜스포머 모델은 바이트 페어 인코딩, 워드피스, 센텐스피스 같은 서브워드 방식을 써서 사전에 없는 단어도 조합으로 표현한다. 발표자는 OpenAI 토크나이저로 모델마다 한국어 토큰화 결과가 다르게 나오는 모습을 보여준다.

벡터화는 나뉜 단위를 숫자 벡터로 바꾸는 단계다. 가장 단순한 백오브워드는 단어의 등장 여부·횟수를 표시하고, TF-IDF는 여기에 가중치를 더한다. 어떤 단어가 특정 문서에서만 자주 등장하면 그 문서에서 중요한 단어로 보아 더 높은 값을 주는 식이다. 다만 이렇게 만든 벡터는 0이 많은 희소(sparse) 벡터라 문서 간 의미 관계를 파악하기 어렵다.

임베딩은 의미와 문맥까지 보존해 저차원의 밀집 벡터로 만든다. 발표자는 OpenAI의 text-embedding-3-small 모델로 책 제목 50개를 임베딩한 뒤, 0이 거의 없이 값이 빽빽하게 들어찬 밀집 벡터를 만들었다. 이렇게 하면 단순 빈도를 넘어 텍스트의 잠재적 의미를 벡터 공간에 투영할 수 있어, 문서 간 관계를 훨씬 잘 파악할 수 있다.

임베딩된 데이터는 다차원 공간에 점으로 심어지고, 코사인 유사도(각도 기준)나 유클리드 거리(직선 거리 기준)로 가까움을 잰다. 차원이 큰 벡터(예: 1536차원)는 PCA 등으로 2~3차원으로 줄여 텐서플로우 임베딩 프로젝터에서 시각화할 수 있다. 실제로 '밑바닥부터 시작하는 딥러닝' 시리즈처럼 제목이 비슷한 책들이 서로 높은 유사도로 가깝게 모이는 것을 확인할 수 있다.

주요 인사이트

• 토큰화→벡터화→임베딩은 텍스트를 숫자로 바꾸는 단계적 과정이며, 각 단계가 담는 정보의 깊이가 다르다.
• TF-IDF 같은 벡터화는 빈도와 가중치만 다루는 희소 벡터라 의미 관계 파악이 어렵지만, 임베딩은 의미를 보존한 밀집 벡터를 만든다.
• 한국어는 조사·어미 때문에 형태소 분석을 고려해야 의미를 잘 살릴 수 있고, 모델마다 토큰화 방식이 달라 결과가 달라진다.
• 임베딩은 매번 계산하면 비용이 들기 때문에, 한 번 만든 결과를 벡터 DB에 저장해 두고 유사도 검색에 재사용하는 것이 일반적이다.

자주 묻는 질문

관련 AI 소식