벡터 데이터베이스 쉽게 이해하기: 임베딩·시맨틱 검색 원리

핵심 메시지

• 구글이 '애플 칼로리'와 '애플 직원 수'를 구분하는 비결은 키워드가 아니라 의도를 파악하는 시맨틱 검색이며, 그 바탕에는 텍스트를 숫자로 바꾼 임베딩이 있다.
• 임베딩은 단어·문장·문서를 여러 속성값의 나열, 즉 벡터로 표현한 것으로, 벡터끼리 비교하면 의미적 유사도를 계산할 수 있다.
• 텍스트 AI 애플리케이션은 수백만~수십억 개의 임베딩 벡터를 저장해야 하는데, 일반 관계형 DB에서 선형 탐색으로 비교하면 계산량과 지연이 감당하기 어렵다.
• 벡터 데이터베이스는 지역 민감 해싱(LSH) 같은 인덱싱으로 비슷한 벡터를 미리 버킷에 묶어, 일부 버킷만 비교해 검색 속도를 끌어올린다.
• 벡터 DB가 주목받는 두 가지 핵심 이유는 '빠른 유사도 검색'과 '대규모 벡터의 효율적 저장'이다.

쉽게 이해하기

막대한 투자금을 유치한 여러 AI 스타트업이 공통적으로 쓰는 제품이 바로 벡터 데이터베이스다. 이 개념을 이해하려면 먼저 구글 검색이 어떻게 같은 'apple'이라는 단어를 맥락에 따라 과일과 회사로 구분하는지부터 살펴봐야 한다. 핵심은 정확한 키워드 일치가 아니라 사용자 질의의 '의도'를 이해해 검색하는 시맨틱 검색이다.

시맨틱 검색은 내부적으로 임베딩이라는 개념을 사용한다. 임베딩은 단어·문장을 숫자로 표현한 것으로, 예컨대 'apple'이라는 단어를 '전화기와 관련 있는가', '위치인가', '매출은 얼마인가' 같은 여러 속성으로 분해해 값을 매기면 숫자의 나열, 곧 벡터가 된다. 같은 단어라도 과일 apple과 회사 apple은 속성값이 달라 다른 벡터로 표현된다.

이렇게 만든 벡터끼리 값을 비교하면 'apple(과일)'과 'orange'가 'Samsung'보다 서로 가깝다는 식으로 유사도를 판단할 수 있다. 영상은 word2vec 같은 기법으로 단어를 벡터로 바꾸면 단순 비교를 넘어 벡터 간 산술 연산까지 가능하다고 설명한다. 챗GPT 시대에는 트랜스포머 기반 임베딩 기법이 널리 쓰인다.

문제는 규모다. 텍스트 기반 AI 앱은 수백만, 많게는 수십억 개의 임베딩 벡터를 저장해야 한다. 이를 일반 SQL 데이터베이스에 넣고 질의 벡터와 하나씩 코사인 유사도를 계산하는 선형 탐색으로 비교하면, 레코드가 수백만 개일 때 계산량과 지연이 폭발한다.

벡터 데이터베이스는 이 문제를 인덱싱으로 푼다. 해시 함수로 비슷한 임베딩을 미리 여러 버킷에 묶어 두고, 검색 질의가 들어오면 같은 해시 함수로 해당 버킷만 찾아 그 안에서만 선형 탐색을 수행한다. 이런 지역 민감 해싱(LSH)을 비롯한 여러 기법 덕분에 벡터 DB는 빠른 검색과 효율적 저장이라는 두 이점을 제공한다.

주요 인사이트

• 벡터 DB의 가치는 결국 '의미 기반 검색'을 대규모로, 그리고 빠르게 가능하게 한다는 데 있다. RAG·추천·검색 같은 최신 AI 서비스가 벡터 DB에 의존하는 이유다.
• 임베딩은 마법이 아니라 '텍스트를 여러 속성값의 벡터로 바꾸는 것'이라는 직관으로 이해할 수 있으며, 실제로는 수작업 속성 대신 복잡한 통계·신경망 기법으로 생성된다.
• 선형 탐색의 한계(수백만 벡터를 일일이 비교)가 곧 벡터 DB가 존재하는 이유이며, 전통 DB의 인덱스 개념을 벡터 세계로 옮겨 온 것이 핵심 아이디어다.
• 지역 민감 해싱은 '비슷한 것끼리 같은 버킷에 모은다'는 발상으로, 전체가 아닌 일부만 비교하게 해 검색 비용을 크게 줄인다.

자주 묻는 질문

관련 AI 소식