벡터 임베딩 쉽게 이해하기 — 코사인 유사도부터 벡터DB·랭체인 실습까지

핵심 메시지

• 벡터 임베딩은 단어·문장·이미지·음성 같은 데이터를 의미를 담은 숫자 배열로 바꿔 알고리즘이 다루기 쉽게 만든다.
• 임베딩의 핵심은 철자상의 유사성이 아니라 '의미상의 유사성'을 포착하는 데 있다. 그래서 'food'와 비슷한 단어로 'foot'이 아니라 'lettuce'를 찾아낸다.
• 성격 검사 비유처럼 각 차원이 하나의 특성을 나타내며, 두 벡터의 코사인 유사도로 의미적 유사성을 수치화한다.
• 임베딩은 추천 시스템, 이상치 탐지, 전이학습, 시각화, 정보 검색, 음성·얼굴 인식 등 광범위하게 쓰인다.
• OpenAI로 임베딩을 생성하고 벡터 데이터베이스에 저장한 뒤, 랭체인으로 엮으면 데이터에서 의미 기반 검색을 하는 AI 비서를 만들 수 있다.

쉽게 이해하기

강의는 벡터 임베딩이 무엇인지부터 시작한다. 머신러닝과 자연어 처리에서 임베딩은 텍스트·이미지·영상·음성 같은 정보를 컴퓨터가 처리하기 쉬운 숫자 배열로 표현하는 기법이다. 사람에게 'food'는 단어 하나지만, 컴퓨터에게는 수많은 숫자로 이뤄진 배열이 된다.

왜 이렇게 할까. 컴퓨터에게 'food'와 비슷한 단어를 찾으라고 하면, 단순 사전식 비교로는 철자가 비슷한 'foot' 같은 쓸모없는 답을 내놓는다. 우리가 원하는 것은 의미적 유사성이다. 임베딩은 긴 숫자 배열에 단어의 의미를 담아, 'food'와 가까운 단어로 'lettuce'를 찾아내게 한다.

강의는 제이 알라마의 시각 설명을 빌려 성격 검사에 비유한다. 빅 파이브 성격 특성처럼 사람을 여러 점수(-1~1)로 나타내면, 한 차원보다 두 차원, 다섯 차원으로 갈수록 그 사람을 더 정확히 표현할 수 있다. 두 벡터가 얼마나 비슷한지는 코사인 유사도 공식으로 하나의 수치로 계산한다. 차원이 늘면 그림으로 그리긴 어려워도 코사인 유사도는 그대로 작동한다. 단어를 숫자로 바꾸면 'King − man + woman = Queen' 같은 연산까지 가능해진다.

임베딩의 쓰임새는 넓다. 사용자와 항목을 벡터로 표현하는 추천 시스템, 데이터를 벡터로 보고 유사도로 측정하는 이상치 탐지, 사전학습 임베딩을 다른 과제로 옮기는 전이학습, t-SNE·PCA로 고차원 데이터를 2·3차원으로 줄여 군집을 보는 시각화, 키워드가 겹치지 않아도 의미로 맞추는 정보 검색, 그리고 음성 인식과 얼굴 인식까지 포함된다. 핵심 장점은 복잡한 고차원·이산 데이터를 의미·구조 관계를 보존한 저차원 연속 공간으로 바꾼다는 점이다.

후반부는 실습이다. OpenAI의 create embedding으로 'food was delicious...' 같은 문장을 임베딩 배열로 만들어 보고, 왜 임베딩을 데이터베이스에 저장해야 하는지를 설명한다. 생성형 AI가 장기 기억처럼 정보를 저장·검색하려면 임베딩에 최적화된 벡터 데이터베이스가 필요하기 때문이다. 강사는 아파치 카산드라 기반의 DataStax Astra DB에 벡터 데이터베이스를 만들고, 랭체인(LangChain)으로 허깅페이스 데이터셋을 불러와 청크로 나눠 저장한 뒤, 질문을 던지면 의미가 유사한 문서를 벡터 검색으로 돌려주는 파이썬 AI 비서를 단계별로 완성한다.

주요 인사이트

• 임베딩의 본질은 '철자'가 아니라 '의미'의 거리를 재는 것이며, 이 차이가 의미 기반 검색을 가능하게 한다.
• 성격 검사 비유는 '차원'과 '코사인 유사도'라는 추상 개념을 직관적으로 이해시키는 좋은 다리 역할을 한다.
• 'King − man + woman = Queen'은 단어를 벡터로 바꾸면 의미에 산술 연산을 적용할 수 있음을 보여주는 상징적 사례다.
• 텍스트뿐 아니라 문서·그래프·이미지·음성·얼굴까지 벡터화할 수 있어, 임베딩은 추천·검색·인식 전반을 떠받친다.
• 생성형 AI의 '장기 기억'을 구현하려면 임베딩을 빠르게 저장·검색하는 전용 벡터 데이터베이스가 필요하다.

자주 묻는 질문

관련 AI 소식