벡터 임베딩과 시맨틱 검색 원리: FAISS·문장 트랜스포머로 보는 의미 기반 검색

핵심 메시지

• 전통적 검색은 키워드 일치에 의존하지만, 시맨틱 검색은 단어의 의미와 의도를 이해해 결과를 찾는다.
• 텍스트·이미지·소리 같은 데이터는 벡터 임베딩이라는 숫자 배열로 바뀌어 벡터 데이터베이스에 저장되며, 의미가 비슷할수록 가까운 위치에 놓인다.
• 검색 질의도 같은 방식으로 벡터로 변환된 뒤, 코사인 유사도나 유클리드 거리로 가장 가까운 항목을 찾아 반환한다.
• FAISS·Chroma 같은 도구와 문장 트랜스포머 모델을 쓰면 임베딩 생성·인덱스 저장·유사도 검색을 파이썬으로 직접 구현할 수 있다.
• 이렇게 검색된 결과는 RAG(검색 증강 생성), 시맨틱 검색 엔진, 추천 시스템, 이미지 매칭 등에 활용된다.

쉽게 이해하기

'apple'을 검색한다고 해보자. 사람에 따라 과일을 뜻할 수도, 회사와 그 매출을 뜻할 수도 있다. 키워드에만 의존하는 전통적 검색 엔진은 과일 레시피, 아이폰 뉴스, 주가 정보를 뒤섞어 보여주기 쉽다. 시맨틱 검색은 정확한 단어가 아니라 그 뒤에 있는 의미를 파악해 이런 모호함을 줄인다.

핵심 도구는 벡터 임베딩이다. AI에서는 단어·그림·소리·영상이 모두 숫자로 바뀌어 벡터 데이터베이스에 저장되고, 의미가 비슷한 벡터는 공간상 가까이 모인다. 예를 들어 남자·여자·소년·소녀·노인·아기 같은 단어를 모델이 숫자 배열로 바꾸면, 의미가 가까운 단어끼리 비슷한 벡터를 갖게 된다. 실제 임베딩은 고차원이라 더 미묘한 관계까지 담아낸다.

영상은 임베딩을 만드는 전체 과정을 단계로 정리한다. 먼저 sentence transformers와 FAISS 같은 모듈을 불러오고, 텍스트·이미지·오디오 데이터를 적재한다. 큰 문서는 토큰 한도 때문에 더 작은 청크로 나눈 뒤, 임베딩을 만들어 FAISS나 Chroma 같은 벡터 데이터베이스에 저장한다. 검색 시에는 질의를 같은 방식으로 벡터로 바꾸고 코사인 유사도나 유클리드 거리로 비교해 결과를 얻는다.

실습에서는 식료품 목록을 예시 데이터로 삼는다. all-MiniLM-L6-v2 같은 384차원 문장 트랜스포머 모델로 항목을 임베딩하고, FAISS의 L2 인덱스를 만들어 임베딩을 추가한 뒤 파일로 저장한다. '건강한 잎채소를 원한다'는 질의를 벡터로 바꿔 검색하면, 거리가 가장 작은 '신선한 시금치 한 봉지'가 가장 관련 높은 결과로 먼저 나오고 거리가 멀어질수록 관련도가 떨어진다.

마지막으로 어떤 벡터 데이터베이스를 언제 쓸지 정리한다. 로컬 실험이라면 FAISS·Annoy·HNSWlib, 프로덕션용 RAG나 AI 앱이라면 Milvus·Pinecone·Weaviate·Qdrant가 적합하고, 빠른 테스트나 튜토리얼에는 Chroma가 무난하다고 설명한다.

주요 인사이트

• 시맨틱 검색의 본질은 '단어 매칭'에서 '의미 매칭'으로의 전환이며, 그 다리 역할을 하는 것이 텍스트를 숫자로 바꾸는 벡터 임베딩이다.
• 문서를 청크로 쪼개는 이유는 단순한 편의가 아니라 LLM과 임베딩 모델이 토큰 한도를 갖기 때문이다.
• 검색 결과의 '거리' 값이 작을수록 질의와 의미가 가까운 항목이며, 거리 순으로 관련도가 매겨진다.
• FAISS로 찾은 관련 문서는 RAG에서 가장 적절한 근거로 읽혀, LLM이 사람이 읽기 좋은 문장으로 답을 만들어 내는 재료가 된다.
• 용도(로컬 실험·프로덕션·간단한 테스트)에 따라 벡터 데이터베이스 선택지가 달라지므로, 처음부터 무거운 솔루션을 고를 필요는 없다.

자주 묻는 질문

관련 AI 소식