RAG(검색증강생성) 완전 정리: 임베딩·벡터DB·유사도 검색으로 보는 동작 원리

핵심 메시지

• RAG는 모델을 다시 학습시키지 않고, 질문과 관련된 정보를 먼저 검색해 LLM에 넘겨 답을 만들게 하는 방식이다.
• LLM을 사적 데이터로 재학습시키는 것은 비용이 크고 데이터가 공개될 위험이 있어, 그 대안으로 RAG가 등장했다.
• 임베딩 모델이 텍스트를 의미를 담은 숫자 벡터로 바꾸고, 벡터 데이터베이스가 이를 원문·메타데이터와 함께 저장한다.
• 질문도 같은 임베딩으로 변환한 뒤 코사인 유사도로 가장 가까운 상위 3~5개 청크만 골라 LLM에 전달한다.
• 필요한 부분만 넘기므로 더 빠르고 저렴하며, 근거가 있어 환각이 줄고 정확도가 높아진다.

쉽게 이해하기

RAG(Retrieval-Augmented Generation, 검색증강생성)는 대규모 언어모델이 이미 알고 있는 지식만으로 답하는 대신, 사용자가 가진 문서에서 관련 정보를 먼저 찾아내 모델에 함께 넘겨 답을 생성하게 하는 기법이다. 영상은 ChatGPT 같은 도구가 재학습 없이도 내 PDF나 회사 문서, 사내 지식베이스를 근거로 답할 수 있는 이유가 바로 이 구조에 있다고 설명한다.

RAG가 필요한 이유는 비용과 프라이버시다. 회사나 개인의 데이터로 LLM 자체를 학습시키는 것은 비용이 크고, 학습에 넣은 사적 데이터가 모델을 통해 노출될 수 있다. 그래서 모델을 건드리지 않고 외부 지식을 그때그때 검색해 붙이는 방식이 대안으로 자리 잡았다.

전체 흐름은 이렇다. 먼저 PDF·워드·엑셀·논문·정책 문서 등 원본 문서를 준비하고, 임베딩 모델로 텍스트를 숫자 벡터로 바꾼다. 이 벡터는 단순한 순번이 아니라 문장의 의미를 담은 수학적 표현이라, 뜻이 비슷한 문장은 벡터도 비슷해진다. 영상은 'car·auto·vehicle'처럼 철자는 달라도 의미가 가까우면 벡터가 가까워지는 성질을 의미적 유사성(semantic similarity)이라 부른다.

이렇게 만든 임베딩은 벡터 데이터베이스에 저장되는데, 벡터만이 아니라 원문 텍스트와 메타데이터(예: 페이지 번호)도 함께 저장된다. 나중에 원문은 LLM에 근거로 넘기고, 메타데이터는 출처를 밝히는 데 쓰인다. 벡터 DB는 키워드가 아니라 벡터 간의 수학적 거리로 검색한다는 점에서 SQL 데이터베이스와 다르다.

질문이 들어오면 같은 임베딩 모델을 거쳐 질의 벡터가 되고, 코사인 유사도로 저장된 문서 벡터들과 비교해 가장 유사한 상위 3~5개 청크를 밀리초 단위로 찾아낸다. 이 관련 청크만 사용자의 질문과 함께 프롬프트로 묶어 LLM(GPT·Gemini·Claude·Llama·Mistral 등)에 넘기면, 모델이 그 근거에 기반해 최종 답을 생성한다. 마지막으로 가드레일·후처리 단계에서 유해 응답 제거, 마크다운 서식, 인용 추가, 환각 점검, 회사 규칙 적용, 민감정보 필터링을 거쳐 사용자에게 전달한다.

주요 인사이트

• 임베딩은 RAG의 심장이다. 텍스트를 의미 기반 벡터로 바꾸는 이 단계가 있어야 '단어가 달라도 뜻이 비슷한' 문서를 찾아낼 수 있다.
• 벡터 데이터베이스에는 벡터뿐 아니라 원문과 메타데이터가 함께 저장된다. 원문은 답 생성의 근거로, 메타데이터는 페이지 번호 같은 출처 표시에 쓰인다.
• 검색은 키워드가 아니라 코사인 유사도라는 수학적 거리로 이뤄지며, 500쪽 문서라도 관련된 몇 페이지만 골라내므로 속도·비용·토큰 한도 면에서 유리하다.
• LLM은 PDF를 직접 뒤지지 않는다. 벡터 DB가 골라준 관련 청크만 받아 답을 만들기 때문에, 근거 없는 추측 대신 문서 기반 답변이 나온다.
• 실무에서 자주 쓰이는 벡터 DB로는 Chroma, FAISS, Pinecone, Weaviate, Milvus 등이 언급되며, 발표자는 프로젝트에서 주로 Chroma를 사용한다고 밝힌다.

자주 묻는 질문

관련 AI 소식