텍스트 임베딩과 시맨틱 검색 원리: 벡터·코사인 유사도·풀링·FAISS 정리

핵심 메시지

• 텍스트 임베딩은 문장을 숫자 배열(벡터)로 바꿔, 의미가 비슷한 글일수록 벡터도 가깝게 만드는 표현 방식이다.
• BERT 같은 인코더 모델은 토큰마다 벡터를 내놓기 때문에, 풀링으로 문장 전체를 대표하는 하나의 벡터로 합쳐야 한다.
• 두 벡터의 가까운 정도는 코사인 유사도(벡터 사이 각도)로 수치화할 수 있다.
• 질문과 문서들을 같은 방식으로 임베딩해 가장 가까운 문서를 찾는 것이 시맨틱 검색이며, FAISS 인덱스로 빠르게 비교한다.

쉽게 이해하기

텍스트 임베딩은 글을 숫자들의 배열, 곧 벡터로 표현하는 방법이다. 핵심은 의미가 비슷한 항목일수록 벡터끼리도 가까워지도록 만든다는 점이다. 이런 벡터는 보통 BERT 같은 인코더 기반 모델로 만들어내며, 영상에서는 세 개의 문장을 인코더에 넣어 세 개의 벡터를 얻는 예를 보여준다.

벡터끼리 얼마나 가까운지는 유사도 지표로 잰다. 임베딩 벡터는 보통 매우 높은 차원의 공간에 놓이기 때문에, 벡터 사이의 거리를 재는 어떤 방식이든 유사도 지표가 될 수 있다. 대표적인 것이 두 벡터가 이루는 각도를 보는 코사인 유사도로, 각도가 작을수록 더 비슷하다고 본다.

문제는 BERT 같은 모델이 토큰(단어)마다 벡터를 하나씩 내놓는다는 점이다. 예컨대 'I took my dog for a walk' 한 문장에서 단어 수만큼 벡터가 나오고, 영상의 예에서는 문장당 9개의 384차원 벡터가 출력된다. 우리가 원하는 것은 문장 전체를 대표하는 벡터 하나이므로, 이를 합치는 풀링(pooling) 기법이 필요하다.

가장 단순한 풀링은 CLS 토큰의 임베딩만 쓰는 방식이고, 다른 방법은 토큰 임베딩들을 평균 내는 평균 풀링(mean pooling)이다. 평균을 낼 때는 의미 없는 패딩 토큰을 빼야 하므로 어텐션 마스크를 사용한다. 이렇게 하면 문장마다 384차원 벡터 하나가 만들어진다.

문장 임베딩이 준비되면 쌍마다 코사인 유사도를 계산할 수 있다. 영상에서는 scikit-learn 함수로 'I took my dog for a walk'와 'I took my cat for a walk'의 유사도가 0.83으로 나오는 것을 보여준다. 이 아이디어를 확장해 질문 하나와 문서 묶음 전체의 유사도를 비교하면 시맨틱 검색이 된다. 허깅페이스 Datasets 라이브러리에서는 SQuAD 데이터셋 샘플의 모든 구절을 임베딩해 별도 칼럼에 저장하고, FAISS 인덱스를 붙여 질문 임베딩과 가장 가까운 문서 세 개를 빠르게 찾아낸다.

주요 인사이트

• 키워드 일치가 아니라 의미의 가까움으로 검색하므로, 표현이 달라도 뜻이 비슷한 문서를 찾아낼 수 있다.
• 토큰 단위 벡터를 문장 벡터로 합치는 풀링 방식(CLS vs 평균)의 선택이 결과 표현에 영향을 준다.
• 평균 풀링에서 패딩 토큰을 제외하기 위해 어텐션 마스크를 쓰는 것은 정확한 문장 표현을 위한 실무적 디테일이다.
• FAISS 같은 인덱스를 쓰면 대량의 문서 임베딩 중에서 질문과 가까운 항목을 효율적으로 검색할 수 있다.

자주 묻는 질문

관련 AI 소식