RAG 검색 증강 생성 쉽게 이해하기 - 벡터 임베딩과 벡터 데이터베이스

핵심 메시지

• 파운데이션 모델에는 모르는 것도 아는 척하는 '환각' 현상과, 훈련 시점 이후 정보를 모르는 '지식 단절' 현상이라는 한계가 있다.
• RAG(검색 증강 생성)는 사내 데이터를 검색해 답변에 포함시켜, 모델 재학습 없이 정확한 정보를 반영하는 기법이다.
• 벡터 임베딩은 텍스트·이미지·오디오·비디오를 −1과 1 사이 숫자로 표현해, 단어 사이 거리로 의미적 유사도를 계산하게 해준다.
• 관련 있는 단어는 다차원 공간에서 더 가까운 벡터를 가지며, 기업 문서를 벡터로 변환해 벡터 데이터베이스에 저장한다.
• 사용자 질문이 오면 에이전트가 지식 베이스를 먼저 검색하고, 관련 데이터를 모델에 함께 넣어 증강된 프롬프트로 정확한 답을 생성한다.

쉽게 이해하기

영상은 생성형 AI를 기업에서 제대로 활용하기 어려운 이유부터 짚는다. 파운데이션 모델은 학습 데이터를 바탕으로 확률적으로 가장 그럴듯한 문장을 만드는 구조라, 잘 모르는 것도 사실인 양 풀어내는 '환각' 현상이 있다. 또한 훈련된 시점 이후의 최신 정보는 알지 못하는 '지식 단절'도 있다. 두 한계 모두 올바른 데이터 소스의 중요성을 보여준다.

이를 해결하려고 모델을 새로 학습시키는 것은 시간과 비용이 막대하다. 그래서 등장한 대표적 기법이 검색 증강 생성, 즉 RAG다. 사내 데이터를 검색해 답변에 포함시키는 방식으로, 사용자가 프롬프트로 작업을 요청하면 에이전트가 지식 기반 데이터에서 관련 내용을 찾아 파운데이션 모델에 함께 넣어 정확하고 구체적인 답을 만들도록 한다. 영상에서는 Amazon Bedrock의 에이전트와 지식 베이스 기능으로 이를 구현하는 예를 든다.

RAG의 지식 기반을 만들 때는 과거의 검색 엔진 방식과 다른 접근, 즉 벡터 임베딩을 사용한다. 벡터 임베딩은 텍스트·이미지·오디오·비디오 데이터를 모두 −1과 1 사이의 숫자로 표현한다. 인간은 단어의 의미와 맥락을 이해하지만 기계는 숫자만 이해하므로, 단어 사이의 거리를 계산해 가장 가까운 의미의 단어를 찾는 방식을 쓴다. 문맥상 관련된 단어는 서로 더 가까운 벡터를 갖게 된다.

구체적 예로 통신사 고객 센터를 든다. '엄마 핸드폰을 해지해 줄 수 있나'라는 문의가 오면, 에이전트는 먼저 사내 휴대폰 가입·해지 규정을 벡터로 변환해 지식 데이터베이스에 질의한다. 관련 데이터가 있으면 그것을 파운데이션 모델에 넣어 증강된 새 프롬프트를 만들고, 대리인 해지 제도 설명과 함께 질문을 재구성해 정확한 데이터 기반의 답을 생성한다.

마지막으로 벡터 데이터 처리가 생성형 AI에 매우 중요해지면서 여러 데이터베이스가 벡터 저장·검색 기능을 더하고 있다고 소개한다. Amazon OpenSearch, Aurora, Redis, Pinecone 등이 지원되고 MongoDB도 추가 예정이며, DocumentDB와 DynamoDB의 벡터 지원, MemoryDB의 벡터 검색 미리보기, 그리고 그래프와 벡터를 결합해 데이터 간 관계를 분석하는 Neptune Analytics 같은 사례도 함께 언급한다.

주요 인사이트

• RAG의 가치는 비싼 재학습 없이도 최신·사내 지식을 모델 답변에 반영할 수 있다는 점에 있다.
• 환각과 지식 단절은 별개 문제처럼 보이지만, 둘 다 '올바른 데이터 소스 연결'로 완화된다는 공통점이 있다.
• 벡터 임베딩은 의미를 숫자 공간의 '거리'로 바꿔, 단순 단어 일치보다 맥락에 맞는 검색을 가능하게 한다.
• RAG 파이프라인의 핵심은 '검색 → 관련 데이터로 프롬프트 증강 → 생성'의 3단계 흐름이다.
• 벡터 검색과 그래프 검색을 결합하면 데이터 전반의 관계까지 활용해 답변 품질을 높일 수 있다.

자주 묻는 질문

관련 AI 소식