OpenRAG란? 비용·정확도 때문에 RAG가 여전히 필요한 이유 (IBM 오픈소스)

핵심 메시지

• 맥락 창이 무한해도 토큰 비용·처리 시간·정확도 때문에 RAG는 여전히 필요하다.
• RAG는 모델이 학습하지 못한 도메인·보호 데이터를 실행 시점에 주입하는 방법이다.
• 완전한 RAG 시스템에는 양질의 데이터 수집, 빠른 하이브리드 검색, 이를 묶는 오케스트레이션이 필요하다.
• OpenRAG는 Docling·OpenSearch·Langflow를 결합해 에이전트형 RAG를 즉시 구축하게 해주는 오픈소스 플랫폼이다.
• Langflow 스튜디오로 모델 교체·외부 데이터 연결 등 모든 단계를 직접 커스터마이즈할 수 있다.

쉽게 이해하기

생성형 AI 모델의 맥락 창이 매우 커지면서 '이제 RAG는 필요 없다'는 말이 나온다. 그러나 영상은 맥락 창이 무한하더라도 RAG가 여전히 중요하다고 강조한다. 외부 모델 제공자를 쓸 때는 토큰 단위로 비용이 부과되는데, 매 작업마다 방대한 데이터를 통째로 주입하면 그만큼 비용과 처리 시간이 늘어난다. 또한 모델은 필요한 정보만 정확히 받았을 때 가장 좋은 답을 낸다.

RAG(검색 증강 생성)는 모델이 이미 갖고 있지 않은 정보를 실행 시점에 주입하는 방법이다. 특히 인터넷에 일반 공개되지 않아 모델이 학습하지 못한 도메인 지식이나 보호된 정보를 다룰 때 유용하다. 이런 한계를 메우기 위해 IBM은 오픈소스 플랫폼 OpenRAG를 제시한다.

영상에 따르면 완전한 RAG 시스템에는 세 가지가 필요하다. 양질의 데이터 수집, 빠른 검색을 위한 우수한 하이브리드 검색, 그리고 이를 하나로 묶는 오케스트레이션 계층이다. OpenRAG는 이 세 조각을 각각 담당하는 Docling, OpenSearch, Langflow를 긴밀히 통합해 미리 구성된 에이전트형 RAG 솔루션을 제공한다.

Docling은 지능형 문서 수집을 맡는다. 예컨대 표·이미지·텍스트가 섞인 PDF에서 각 구성 요소를 식별해 LLM과 에이전트에 최적화된 형태로 추출한다. 이렇게 하지 않으면 정확도를 떨어뜨리는 잡음 데이터가 쌓인다. 이어 OpenSearch가 처리된 문서를 벡터 표현으로 저장하고 빠른 검색에 최적화한다. Langflow는 모든 것이 올라가는 에이전트·RAG 기반이자, 수십 종의 모델·벡터 스토어 제공자와 연결되는 워크플로 실행 엔진 역할을 한다.

설치 후에는 곧바로 지식을 수집하고, 워크플로를 구성하며, 데이터와 대화할 수 있다. 다양한 문서 유형을 넣을 수 있고, 대화 맥락에 따라 에이전트가 URL을 즉석에서 수집하기도 한다. 전체 지식 집합을 검색하거나 특정 문서 그룹만 필터링해 검색할 수도 있다. 모델 제공자나 임베딩 모델을 바꾸는 등 더 깊은 변경이 필요하면 Langflow 스튜디오 UI에서 직접 손볼 수 있다.

주요 인사이트

• 비용·지연·정확도라는 실무 기준에서 보면, 맥락 창 확대가 곧 RAG의 종말을 뜻하지는 않는다.
• OpenRAG의 핵심 가치는 데이터 수집·검색·오케스트레이션을 미리 연결해 'RAG를 분 단위로 띄울 수 있게' 만든 데 있다.
• PDF 같은 비정형 문서에서 표·이미지를 제대로 추출하는 수집 품질이 RAG 정확도의 출발점이다.
• 외부 데이터를 도구로 추가할 때는 도구의 이름과 설명을 고유하고 명확하게 써야 에이전트가 어떤 출처를 쓸지 구분할 수 있다.
• 완전 오픈소스라 처음부터 직접 만드는 것보다 효과적인 RAG 구축이 훨씬 쉬워진다.

자주 묻는 질문

관련 AI 소식