벡터 데이터베이스 완전정리: 임베딩·시맨틱 검색·ANN 인덱싱·RAG의 기반

핵심 메시지

• 전통적 관계형 DB는 메타데이터와 수동 태그로만 검색해 데이터의 '의미'를 담지 못하는 '시맨틱 갭'이 있다.
• 벡터 데이터베이스는 데이터를 숫자 배열(벡터 임베딩)로 표현해, 의미가 비슷한 항목을 벡터 공간에서 가깝게 배치한다.
• 임베딩은 이미지(CLIP)·텍스트(GloVe)·음성(Wav2vec)처럼 데이터 종류별 전용 모델이 여러 층을 거쳐 만들어낸다.
• 수백만 개의 고차원 벡터를 빠르게 비교하기 위해 ANN(근사 최근접 이웃) 인덱싱(HNSW, IVF)을 사용한다.
• 벡터 데이터베이스는 RAG의 핵심 구성요소로, 문서 조각을 임베딩으로 저장해 LLM에 관련 정보를 제공한다.

쉽게 이해하기

산 위의 일몰 사진을 디지털로 저장한다고 해보자. 관계형 데이터베이스에는 이미지의 바이너리 데이터, 파일 포맷과 생성일 같은 기본 메타데이터, 그리고 'sunset'·'landscape'·'orange' 같은 수동 태그 정도를 넣을 수 있다. 그러나 '비슷한 색감의 이미지'나 '배경에 산이 있는 풍경'을 질의하기는 어렵다. 이런 개념은 정형 필드로 잘 표현되지 않는다. 컴퓨터가 데이터를 저장하는 방식과 인간이 그것을 이해하는 방식 사이의 이 단절을 '시맨틱 갭'이라 부른다.

벡터 데이터베이스는 데이터를 수학적 벡터 임베딩, 즉 숫자 배열로 표현해 이 문제를 해결한다. 예컨대 산 사진의 임베딩 첫 차원이 0.91이면 큰 고도 변화를, 0.15는 도시 요소가 거의 없음을, 0.83은 일몰 같은 강한 따뜻한 색을 나타낼 수 있다. 해변 일몰 사진은 0.12, 0.08, 0.89처럼 나오는데, 따뜻한 색을 뜻하는 세 번째 차원은 비슷하지만 고도를 뜻하는 첫 번째 차원은 크게 다르다. 실제 시스템에서 임베딩은 수백~수천 차원을 가지며, 각 차원이 이렇게 명확히 해석되는 경우는 드물다.

이 임베딩은 방대한 데이터셋으로 학습된 임베딩 모델이 만든다. 데이터 종류마다 전용 모델이 있어 이미지에는 CLIP, 텍스트에는 GloVe, 음성에는 Wav2vec을 쓸 수 있다. 데이터가 모델의 여러 층을 통과하며 점점 더 추상적인 특징이 추출된다. 이미지라면 초기 층은 가장자리(엣지) 같은 기본 요소를, 깊은 층은 객체 전체를 인식한다. 텍스트라면 초기 층은 개별 단어를, 깊은 층은 문맥과 의미를 파악한다.

임베딩이 만들어지면 관계형 DB로는 불가능했던 강력한 연산이 가능해진다. 대표적인 것이 질의 벡터와 가장 가까운 벡터를 찾는 유사도 검색이다. 다만 수백만 개의 고차원 벡터를 일일이 비교하면 너무 느리다. 그래서 벡터 인덱싱이 등장하는데, 정확히 가장 가까운 것 대신 '가까울 가능성이 매우 높은' 벡터를 빠르게 찾는 ANN(근사 최근접 이웃) 알고리즘을 쓴다. 다층 그래프를 만드는 HNSW, 벡터 공간을 군집으로 나눠 관련 군집만 탐색하는 IVF 등이 있으며, 약간의 정확도를 양보하는 대신 검색 속도를 크게 높인다.

벡터 데이터베이스는 검색 증강 생성(RAG)의 핵심 구성요소이기도 하다. 문서·기사·지식베이스의 조각을 임베딩으로 저장해 두었다가, 사용자가 질문하면 벡터 유사도로 관련 텍스트 조각을 찾아 대규모 언어 모델(LLM)에 전달하고, LLM은 그 정보를 바탕으로 답을 생성한다. 결국 벡터 데이터베이스는 비정형 데이터를 저장하는 곳이자, 그것을 빠르고 의미적으로 다시 꺼내오는 곳이다.

주요 인사이트

• 검색을 '키워드 일치'가 아니라 '의미적 근접성'이라는 수학 연산으로 바꾼 것이 벡터 데이터베이스의 본질이다.
• 임베딩은 '같은 일몰'이라는 유사성은 가깝게, '산과 해변'이라는 차이는 멀게 — 닮음과 다름을 동시에 좌표로 표현한다.
• 데이터 종류마다 전용 임베딩 모델이 필요하다는 사실은, 멀티모달 AI가 왜 모달별 인코더를 두는지 이해하게 해 준다.
• ANN 인덱싱은 '완벽한 정답'을 포기하고 '충분히 좋은 답을 빠르게'를 택한 실용적 타협이다.
• 벡터 DB는 그 자체로 끝이 아니라 RAG·시맨틱 검색 같은 현대 AI 애플리케이션의 토대로 작동한다.

자주 묻는 질문

관련 AI 소식