RAG 입문 가이드: 벡터 검색·임베딩부터 에이전트형 RAG까지

핵심 메시지

• RAG는 결국 ‘내 데이터’를 의미 기반으로 검색해 LLM의 맥락에 넣어 답을 생성하는, 프롬프트 엔지니어링의 한 형태다.
• 맥락 증강(CAG)→캐시 증강→RAG→에이전트형 RAG로 갈수록 다룰 수 있는 데이터 범위와 정교함이 커진다.
• RAG의 핵심은 문서를 청크로 나눠 임베딩한 뒤 벡터 데이터베이스에 저장하고, 의미 유사도로 검색하는 것이다.
• 벡터(의미) 검색만으로는 정확도가 낮을 수 있어, 키워드·그래프 검색을 결합한 하이브리드 검색으로 보완한다.
• 에이전트형 RAG는 지식 그래프, 재랭킹, 품질 평가 에이전트를 더해 환각을 줄이고 결과를 검증한다.

쉽게 이해하기

발표자는 매일 어마어마한 양의 데이터가 쌓이는 현실에서, 사람이 일일이 훑을 수 없는 데이터를 이해하려면 머신러닝과 AI가 필수라는 점에서 RAG의 필요성을 설명한다. RAG는 ‘검색 증강 생성(Retrieval Augmented Generation)’의 약자이며, 본질적으로는 내 데이터를 찾아 프롬프트에 넣어 답을 만드는 프롬프트 엔지니어링이라고 정리한다.

기술을 단계별로 나눈다. 가장 기초인 맥락 증강(CAG)은 데이터를 프롬프트에 직접 넣어 Q&A하는 방식으로, 유튜브의 ‘ask’ 버튼이 영상 자막을 Gemini의 맥락에 넣어 질문에 답하는 사례를 든다. 캐시 증강은 데이터를 벡터화해 메모리 룩업 테이블에 두고 빠르게 검색하는 방식으로, VS Code의 Copilot이 대화 기록·프로젝트 파일을 메모리에 두는 모습을 예로 든다.

RAG는 이보다 한 단계 위다. 메모리의 몇 개 파일이 아니라 데이터베이스에 있는 많은 파일을 의미 유사도로 검색한다. ‘유제품(dairy)’으로 검색해도 치즈·우유가 나오는 것처럼 키워드가 아닌 의미로 찾는다. 이를 위해 문서를 문단 단위 청크로 나누고, 임베딩으로 의미를 벡터로 추출해 텍스트와 함께 벡터 데이터베이스에 저장한다.

발표자는 직접 코드 데모를 보여준다. Microsoft.Extensions의 벡터 추상화와 로컬 임베딩 모델(Ollama)로 식료품 데이터를 임베딩하고, ‘좋은 그릴드 치즈를 만들 재료’ 같은 퍼지 검색으로 숙성 체다·사워도우 빵을 코사인 유사도 점수와 함께 찾아낸다. 임베딩 길이(예: 1536)는 임베딩 모델에 묶여 있어 중간에 모델을 바꾸면 데이터베이스를 처음부터 다시 만들어야 한다는 실무 주의점도 짚는다.

규모를 키우는 옵션으로 .NET AI 템플릿(소규모), Microsoft Foundry/OpenAI 파일 검색(중규모, 잦은 변경 주의), 그리고 발표자가 속한 회사의 Progress 에이전트형 RAG(대규모)를 소개한다. 마지막으로, 기업들이 단순 벡터 검색만으로는 답 품질이 떨어져 키워드·그래프를 결합한 하이브리드 검색으로 옮겨가고 있다는 최근 흐름을 전한다.

주요 인사이트

• 임베딩은 LLM의 ‘반대편 동전’이다. 생성이 아니라 의미를 벡터로 추출하는 작업이라 노트북에서도 비교적 가볍게 돌릴 수 있다.
• 코사인 유사도 점수가 생각보다 낮게 나오는 건 흔한 일이며, 그래서 하이브리드 검색과 재랭킹으로 검색 품질을 끌어올린다.
• 임베딩 모델을 바꾸면 벡터 길이가 달라져 데이터베이스를 재구축해야 하므로, 처음부터 모델 선택을 신중히 해야 한다.
• 기존 시스템(예: Confluence)이 이미 MCP로 연결돼 있다면, RAG는 그것을 대체하기보다 MCP 서버 형태로 ‘추가 맥락’을 더하는 보완재로 쓰는 것이 자연스럽다.

자주 묻는 질문

관련 AI 소식