고급 RAG 기법 — 메타데이터·가상 질문·리랭킹으로 LLM 답변 품질 높이기

핵심 메시지

• RAG 답변 품질은 LLM에 제공하는 '컨텍스트'의 관련성에 크게 좌우된다.
• 전처리 단계에서 메타데이터 저장·필터링, 가상 질문 생성, 다양한 저장소 활용으로 정확도를 높일 수 있다.
• 리랭킹은 검색한 청크를 관련성 점수로 재정렬해 가장 유용한 것만 LLM에 넘기는 단계다.
• 벡터 DB가 모든 경우의 정답은 아니며, 관계형·그래프 DB·키워드·하이브리드 검색도 고려해야 한다.
• 사용자 프롬프트당 LLM을 여러 번 호출(프롬프트 최적화·요약·자기 평가)해 정확도를 개선할 수 있다.

쉽게 이해하기

영상은 기본 RAG가 원하는 품질에 못 미칠 때 쓸 수 있는 고급 기법들을, RAG 정보 흐름의 단계(전처리·검색·후처리)에 따라 정리한다. 핵심 전제는 컨텍스트(검색해 프롬프트에 덧붙이는 자료)가 답변 품질을 좌우한다는 점이다. 컨텍스트가 충분히 관련성 높지 않으면 엉뚱한 답을, 부족하면 틀린 답이나 환각, 혹은 무응답을 낳는다.

전처리 단계에서는 각 청크에 메타데이터(주제, 카테고리, 제품 ID, 국가 태그 등)를 저장해 두고, 검색 시 먼저 메타데이터로 필터링한 뒤 유사도 검색을 수행해 관련성을 높인다. 메타데이터는 수동 입력하거나 LLM에 분류를 시켜 생성할 수도 있다. 또 질문과 답변이 서로 다른 표현을 쓴다는 점을 활용해, 청크가 답할 수 있는 '가상 질문'을 LLM으로 만들어 함께 저장하고 그 질문들과의 유사도로 검색하는 기법도 소개한다.

저장 방식 자체도 바꿀 수 있다. RAG가 반드시 벡터 DB를 써야 하는 것은 아니며, 구조화된 데이터라면 관계형 DB나 그래프 DB가 더 적합할 수 있다. 같은 데이터를 서로 다른 청크 크기로 두 번 저장해 함께 활용하거나, 여러 데이터 저장소(벡터 DB 문서, 관계형 DB의 주문 내역, 배송사 API 등)를 검색 단계에서 결합할 수도 있다.

검색 후에는 '리랭킹'으로 효율을 높인다. 청크를 가져온 뒤 LLM에 넘기기 전에, 알고리즘으로 각 청크의 관련성을 점수화해 재정렬하고 일정 점수 이상만 선별해 전달한다. 리랭킹에는 최신성, 사용자 피드백, 공식 문서 같은 신뢰도 높은 출처 가중치 등 다양한 요소를 반영할 수 있고, 여러 기법을 조합할 수도 있다.

마지막으로 대부분의 RAG는 프롬프트당 LLM을 한 번 호출하지만, 여러 번 호출해 정확도를 높일 수 있다. 사용자 프롬프트를 LLM으로 다듬어 오타·불필요한 단어를 제거하거나 흔한 동의어로 바꾸고, 검색한 청크들을 요약하게 하며, 생성한 답변의 정확성과 관련성을 LLM이 스스로 평가하게 하는 식이다. 어떤 기법이 맞는지는 사용 사례·데이터·예산·지연시간 제약에 따라 달라진다.

주요 인사이트

• RAG 개선의 상당수는 결국 'LLM에 넘기는 컨텍스트를 더 관련성 높게 만드는 일'로 귀결된다.
• 검색은 청크 원문 대신 LLM이 만든 '가상 질문'과의 유사도로 수행하면 질문-답변 표현 차이를 메울 수 있다.
• 리랭킹은 컨텍스트를 LLM에 넘기기 직전, 가장 관련성 높은 것만 추리는 또 한 번의 기회를 제공한다.
• 벡터 DB는 흔히 쓰이지만 만능이 아니며, 데이터 성격에 따라 관계형·그래프·키워드·하이브리드 검색이 더 나을 수 있다.
• LLM에게 자기 답변의 정확성을 평가하게 하는 것도 유효한데, 모델이 항상 '맞다'고만 하지는 않기 때문이다.

자주 묻는 질문

관련 AI 소식