RAG 기술 문서 처리: 질의 분해로 인용 정확도 높이기 (OpenFOAM 사례)

핵심 메시지

• 일반 RAG는 수식·표·기호가 많은 기술 문서에서 파싱·청킹·임베딩이 쉽게 깨진다. 새 알고리즘이 아니라 파이프라인 설계로 이 문제를 개선한 연구다.
• 핵심 아이디어는 '질의 분해'다. 크고 포괄적인 질문을 여러 하위 질문으로 쪼갠 뒤 각각 검색·중복 제거·재순위화해 답하면 여러 문서에 걸친 복잡한 질문에도 정확한 출처를 붙일 수 있다.
• 인용 정확도(citation accuracy)는 5점 만점에 완벽에 가까웠지만, 검색 재현율(recall)은 14% 미만으로 낮았다. 인용이 정확하다고 답변이 완전한 것은 아니라는 점을 보여준다.
• 논문은 저자가 강점만 부풀리지 않고 재현율이라는 병목을 솔직히 한계로 밝혔다는 점에서 좋은 연구 태도의 예로 제시된다.
• 이 영상은 부트캠프 수강생 논문을 해부해 연구의 사고 과정을 전달하는 시리즈로, 작은 아이디어라도 실행해 확장하면 좋은 연구가 될 수 있다고 강조한다.

쉽게 이해하기

이 세션은 Vizuara 부트캠프에서 나온 학생·현업자 논문을 해부하는 시리즈의 첫 편으로, OpenFOAM(오픈소스 전산유체역학 툴킷) 매뉴얼을 대상으로 한 RAG 시스템 논문을 다룬다. 이 매뉴얼은 미분방정식과 수많은 수학 기호·수식·표가 얽힌 복잡한 문서라, 일반적인 PDF 추출이 자주 실패하는 대표적 사례로 소개된다.

연구는 새로운 RAG 알고리즘을 제안하는 것이 아니라, 이런 강한 기술 문서의 응답 품질을 끌어올리는 새 파이프라인을 제안한다. 파이프라인은 두 가지 모드로 동작한다. 개념이 명확한 단일 질의를 처리하는 '단일 질의 모드'와, 큰 질문을 하위 질문으로 쪼개는 '리포트 모드'다.

시스템은 오프라인과 온라인 두 단계로 나뉜다. 오프라인에서는 방대한 매뉴얼을 미리 파싱·청킹·임베딩해 벡터로 저장해 둔다. 파서로는 marker, Docling, PyMuPDF 세 가지를 시험한 끝에 수식을 가장 잘 처리하는 marker를 채택했고, 임베딩은 384차원 MiniLM-L12-v2, 저장소는 ChromaDB를 사용했다. 온라인에서는 사용자 질의를 임베딩해 코사인 유사도로 관련 청크를 찾고 재순위화한다.

리포트 모드의 핵심은 LLM 플래닝으로 질문을 하위 질문으로 분해하는 단계다. 예컨대 '이산화(discretization) 개념을 설명하라'처럼 개념·응용·동기가 얽힌 큰 질문은 여러 문서를 넘나들어야 하므로, 여러 하위 질문으로 나눠 각각 답하고 중복을 제거한 뒤 출처와 함께 제시한다. 그 결과 4개 원본 PDF에서 10개의 고유 청크를 인용하는 등 교차 참조가 필요한 복잡한 질문에서도 정확한 인용이 가능해졌다.

평가는 6개 차원의 'LLM-as-judge' 프레임워크(판정 모델 Gemini 2.5 Pro, 온도 0)와 recall·MRR·NDCG 같은 정보 검색 지표를 함께 썼다. 두 파이프라인 모두 5점 만점에 4.6 이상, 인용 정확도는 5.0에 달했지만 recall은 14% 미만이었다. 저자들은 단일 임베딩 모델 사용, 사람 검수(human-in-the-loop) 부재, 특정 LLM(Gemini)만 사용 등을 한계로 명시하고 후속 연구 확장을 제안했다.

주요 인사이트

• 인용 정확도와 검색 재현율은 별개의 지표다. 인용이 맞아도 답변에 포함되지 않은 중요한 출처가 빠지면 재현율은 낮아지고, 답이 완전하지 않을 수 있다. 그래서 여러 차원의 평가가 필요하다.
• 기술 문서의 어려움은 구조적 이질성, 교차 문서 추론, 수식 충실도에 있다. '4 + 5 - 3'처럼 여러 장(章)의 지식을 연결해야 하는 질문이 기술 문서에는 흔하다.
• 청킹에서 헤더 분할로 장·절 단위를 잡은 뒤 토큰 분할로 청크 간 토큰을 겹치게 하면, 연결이 끊겨 정보가 유실되는 것을 막을 수 있다.
• 평가 지표를 검색 품질(IR 지표)과 생성 품질(LLM 판정)로 분리하면, 실패가 검색 단계에서 났는지 생성 단계에서 났는지 진단할 수 있다. 잘못된 파서 선택 하나로 전체 결과가 틀어질 수 있기 때문이다.
• 거창한 발견이 아니어도, '질의 분해'처럼 일상적으로 쓰는 개념을 RAG 파이프라인에 적용하는 창의적 시도만으로 의미 있는 개선과 새 연구가 나올 수 있다.

자주 묻는 질문

관련 AI 소식