벡터 임베딩이란? AI가 단어를 숫자 벡터로 바꿔 단어 사이의 의미 관계를 학습하는 원리 정리

핵심 메시지

• 컴퓨터는 숫자만 이해하므로, 단어의 의미를 다루려면 단어를 벡터라는 숫자 목록으로 바꿔야 한다.
• 가장 단순한 원-핫 인코딩은 어휘가 커질수록 비효율적이고, 단어들 사이의 의미 관계를 전혀 담지 못한다.
• 현대 모델은 어휘 수만큼의 행과 임베딩 차원만큼의 열을 가진 임베딩 행렬(룩업 테이블)을 쓴다.
• 각 단어의 벡터는 처음엔 무작위 값이며, 단어 ID로 해당 행을 찾아오는 단순 조회로 할당된다.
• 학습을 수백만 번 반복하면 비슷한 맥락의 단어일수록 벡터가 가까워지며 숫자에 의미가 채워진다.

쉽게 이해하기

BlackBoard AI의 이 영상은 현대 인공지능의 가장 기본 개념 중 하나인 벡터 임베딩을 설명한다. 숫자만 이해하는 컴퓨터가 'king' 같은 단어의 의미를 어떻게 배우고, king이 apple보다 queen에 더 가깝다는 것을 어떻게 아는지가 출발 질문이다. 답은 단어를 벡터라 불리는 특별한 숫자 목록으로 바꾸는 기법에 있다.

먼저 가장 단순한 방법인 원-핫 인코딩을 살펴본다. 어휘의 각 단어에 고유 인덱스를 주고, 어휘 크기만큼 길이를 가진 벡터에서 해당 위치만 1로 표시하는 방식이다. 하지만 실제 어휘는 5만 단어가 넘어 매우 비효율적이고, 더 중요하게는 모든 단어가 서로 똑같이 다른 것으로 취급되어 의미가 전혀 담기지 않는다.

그래서 현대 모델은 임베딩 행렬을 쓴다. 예를 들어 어휘 크기 5만, 임베딩 차원 300이라면 5만 개의 행과 300개의 열을 가진 거대한 룩업 테이블이 만들어진다. 학습을 시작할 때 이 표는 작은 무작위 숫자로 채워진다. 특정 토큰에 벡터를 할당하는 일은 놀랍도록 단순한데, 단어의 ID를 찾아 행렬에서 그에 해당하는 행 전체를 그대로 가져오는 조회일 뿐이다.

무작위 숫자를 조회하는 것이 어떻게 의미로 이어질까? 핵심은 이 숫자들이 학습을 통해 바뀐다는 점이다. 모델이 다음 단어를 잘못 예측하면 오차를 계산하고, 관련된 단어의 벡터 숫자를 조금씩 조정한다. 방대한 텍스트로 이 과정을 수백만 번 반복하면 king과 queen처럼 비슷한 맥락에 등장하는 단어들의 벡터가 비슷한 방향으로 밀려나, 결국 관련된 단어들의 벡터가 서로 가까워진다.

정리하면 임베딩 모델의 동작은 세 단계다. 모든 단어에 고유 ID를 부여하고 무작위 숫자로 임베딩 행렬을 만든다. 단어 ID로 해당 행을 가져오는 단순 조회로 벡터를 할당한다. 그리고 학습을 통해 숫자를 끊임없이 조정해 비슷한 단어의 벡터가 수학적으로 가까워지게 한다. 무작위로 시작해 경험을 통해 똑똑해지는 룩업 테이블인 셈이다.

주요 인사이트

• 원-핫 인코딩의 두 가지 근본 한계는 어휘가 커질수록 비효율적이라는 점과, 모든 단어가 동등하게 다르게 취급돼 의미 관계를 담지 못한다는 점이다.
• 임베딩에서 '단어에 벡터를 부여한다'는 것은 복잡한 계산이 아니라 임베딩 행렬에서 해당 행을 꺼내오는 단순 조회다.
• 의미는 처음부터 주어지는 것이 아니라, 예측 오차를 줄이는 방향으로 벡터 값을 조금씩 조정하는 학습 과정에서 생겨난다.
• 비슷한 맥락에 자주 함께 등장하는 단어일수록 벡터가 가까운 방향으로 수렴한다는 것이 임베딩이 의미를 포착하는 핵심 원리다.
• 임베딩 차원(예: 300)은 어휘 크기(예: 5만)보다 훨씬 작아, 원-핫 방식보다 훨씬 조밀하고 효율적으로 단어를 표현한다.

자주 묻는 질문

관련 AI 소식