RAG 심화 가이드: 청킹 전략, 벡터DB 선택, RAGAS 평가, 에이전틱 RAG 정리

핵심 메시지

• RAG는 최신 정보 부재·환각·내부 지식 접근 불가라는 LLM의 약점을, 문서를 검색해 질문에 덧붙이는 방식으로 보완한다.
• 청킹 전략이 RAG 성패의 큰 부분을 좌우하며, 의미 기반 청킹은 정확도를 15~25% 끌어올리지만 속도는 느려진다.
• 벡터DB는 프로토타입용 크로마, 하이브리드 검색의 위비에이트, 대규모 운영의 파인콘으로 단계에 맞춰 고른다.
• RAGAS는 사람이 만든 정답지 없이 충실성·관련성·정밀도·재현율 네 가지로 RAG 품질을 자동 평가한다.
• RAG는 오픈북 시험, 파인튜닝은 암기 시험에 비유되며, 둘을 합치는 것이 가장 강력한 전략이다.

쉽게 이해하기

영상은 많은 RAG 시스템이 잠재력을 절반도 쓰지 못한다고 지적하며, 2024년 기준 기업 약 51%가 RAG를 도입해 이제 기업 AI의 표준 뼈대가 됐다고 말한다. RAG가 필요한 이유는 LLM의 세 가지 약점 때문이다. 학습 시점 이후의 최신 정보를 모르고, 모르는 것도 자신 있게 지어내는 환각이 있으며, 회사 내부 자료 같은 전문 지식에 접근할 수 없다는 점이다.

RAG는 이를 세 단계로 푼다. 질문이 들어오면 관련 문서를 데이터베이스에서 검색하고, 그 내용을 원래 질문에 덧붙여 증강한 뒤, 근거가 포함된 프롬프트로 LLM이 답을 생성한다. 마치 옆에 사서가 자료를 펼쳐주는 오픈북 시험과 같다. 여기서 성패를 크게 가르는 것이 청킹, 즉 문서를 어떻게 나누느냐다.

글자 수로 무식하게 자르는 대신 의미 단락을 파악해 나누는 의미 기반 청킹은 정확도를 15~25% 높이지만 연산이 늘어 속도는 3~5배 느려진다. 청크 크기는 300~500 토큰 사이가 최적으로 제시되며, 청크를 10~20% 겹치게 하는 오버랩으로 맥락이 끊기는 것을 막는다. 이렇게 만든 청크를 담을 벡터DB는 목적에 맞춰 고른다. 빠른 프로토타입은 오픈소스 크로마, 키워드와 의미 검색을 함께 쓰는 하이브리드는 위비에이트, 대규모 트래픽과 안정성이 필요하면 상용 파인콘이 권장된다.

만든 시스템은 감이 아니라 RAGAS라는 프레임워크로 평가한다. 단어 겹침만 보던 BLEU·ROUGE와 달리, RAGAS는 사람이 정답지를 일일이 만들지 않아도 네 가지를 자동으로 본다. 답변이 근거 자료에만 충실한지(Faithfulness), 질문에 제대로 답하는지(Answer Relevance), 검색 자료에 군더더기가 적은지(Context Precision), 필요한 자료를 빠짐없이 찾았는지(Context Recall)이다.

성능을 더 끌어올리는 고급 기법으로는, 질문에 대한 가짜 답변을 먼저 만들어 그것으로 문서를 검색하는 HyDE, 정보를 관계 중심의 지식 그래프로 연결해 복잡한 질문에 강한 GraphRAG(마이크로소프트 테스트에서 답변의 깊이·포괄성이 70~80% 향상), 그리고 AI가 스스로 어떤 DB를 검색할지·웹 검색을 더할지 동적으로 판단하는 에이전틱 RAG가 소개된다. 끝으로 RAG(오픈북)와 파인튜닝(암기)의 차이를 정리하며, 최신 사실이 중요하면 RAG, 말투·전문 사고방식의 내재화가 필요하면 파인튜닝, 가장 강력한 건 둘을 결합하는 것이라고 맺는다.

주요 인사이트

• 청킹은 RAG에서 가장 저평가된 지렛대다. 자르는 방식만 바꿔도 정확도가 두 자릿수 퍼센트로 움직인다.
• 벡터DB는 하나로 끝나지 않고 크로마→위비에이트→파인콘으로 단계적으로 이주하는 로드맵이 현실적이다.
• RAGAS의 네 지표는 '검색이 잘 됐는가'와 '답변이 근거에 충실한가'를 분리해 보므로, 문제의 원인을 짚어내기 좋다.
• RAG와 파인튜닝은 양자택일이 아니라, 파인튜닝으로 전문성을 내재화하고 RAG로 최신 정보를 공급하는 결합이 최적이다.

자주 묻는 질문

관련 AI 소식