벡터 데이터베이스 쉽게 이해하기: 임베딩·인덱스·유사도 검색의 원리

핵심 메시지

• 세상에 존재하는 데이터의 80% 이상은 이미지·영상·음성·소셜 게시글 같은 비정형 데이터라 관계형 데이터베이스에 그대로 담기 어렵다.
• 벡터 데이터베이스는 데이터를 머신러닝 모델로 '벡터 임베딩(숫자 목록)'으로 바꿔 저장하고, 빠른 검색을 위해 인덱싱한다.
• 유사한 항목은 벡터 사이의 거리를 계산하는 최근접 이웃 검색으로 찾는다.
• 대형 언어 모델의 장기 기억, 의미 기반 검색, 이미지·음성 유사도 검색, 추천 엔진 등에 쓰인다.
• 다만 모든 프로젝트에 필요한 것은 아니며, 작은 규모라면 기존 데이터베이스나 단순 배열로 충분할 수 있다.

쉽게 이해하기

벡터 데이터베이스는 최근 수억 달러 규모의 투자를 받으며 'AI 시대의 새로운 데이터베이스'로 주목받고 있다. 다만 영상에서는 모든 프로젝트에 필요한 만능 해법은 아니라는 점도 분명히 한다. 규모가 작다면 전통적인 데이터베이스나 단순한 숫자 배열만으로도 충분히 동작하는 경우가 많기 때문이다.

벡터 데이터베이스가 필요한 이유는 데이터의 성격에 있다. 세상 데이터의 80% 이상은 소셜 게시글, 이미지, 영상, 음성처럼 정형화되지 않은 비정형 데이터다. 예를 들어 비슷한 이미지를 찾으려고 이미지를 관계형 데이터베이스에 넣으면, 픽셀 값만으로는 유사 검색이 되지 않아 사람이 일일이 키워드나 태그를 붙여야 한다. 텍스트 덩어리나 음성·영상도 마찬가지다.

이 문제를 푸는 열쇠가 '벡터 임베딩'이다. 임베딩은 머신러닝 모델이 데이터를 다른 방식으로 표현한 숫자들의 목록으로, 단어 하나, 문장 전체, 이미지 모두에 대해 계산할 수 있다. 데이터가 숫자가 되면 컴퓨터가 이해할 수 있고, 벡터 사이의 거리를 재서 최근접 이웃을 찾는 방식으로 비슷한 항목을 손쉽게 검색할 수 있다. 설명에서는 2차원으로 보여 주지만 실제 벡터는 수백 개 차원을 가질 수 있다.

임베딩을 저장하는 것만으로는 부족하다. 수천 개의 벡터를 거리 기준으로 일일이 비교하면 매우 느리기 때문이다. 그래서 두 번째 핵심 요소인 '인덱싱'이 필요하다. 인덱스는 검색을 빠르게 해 주는 자료 구조로, 벡터를 검색에 유리한 새 구조로 매핑한다. 인덱스를 계산하는 방법은 그 자체로 하나의 연구 분야를 이룰 만큼 다양하다.

주요 인사이트

• 벡터 데이터베이스의 본질은 '임베딩 저장'과 '인덱싱'이라는 두 축으로 요약된다. 둘 중 하나만 있어도 실용적인 유사도 검색은 어렵다.
• 임베딩 덕분에 키워드나 태그 없이도 '의미'와 '맥락'으로 검색할 수 있다는 점이 정형 데이터 검색과의 가장 큰 차이다.
• 랭체인(LangChain) 같은 도구를 쓰면 벡터 데이터베이스로 GPT-4 같은 대형 언어 모델에 장기 기억을 비교적 쉽게 붙일 수 있다.
• 온라인 소매처럼 과거 구매와 유사한 상품을 추천해야 하는 서비스에서는 벡터의 최근접 이웃을 찾는 방식이 곧 추천·랭킹 엔진이 된다.

자주 묻는 질문

관련 AI 소식