RAG(검색증강생성)란? 내 콘텐츠로 답하는 LLM 아키텍처 쉽게 이해하기

핵심 메시지

• RAG는 대규모 언어모델(LLM)을 '내 콘텐츠'에 결합해 일반적 답변이 아닌 우리 조직 고유의 답을 내게 하는 아키텍처다.
• 핵심은 질문만 보내지 않고, 지시문과 관련 콘텐츠를 함께 묶어 보내는 '프롬프트 앞의 프롬프트(prop before the prompt)'다.
• 방대한 콘텐츠는 청크(문단 단위)로 쪼개 각각을 벡터로 변환해 둔다.
• 비슷한 주제의 문단은 비슷한 벡터값을 가지므로, 질문 벡터와 가까운 상위 문서들을 골라낼 수 있다.
• 관련 문단만 검색(retrieval)해 프롬프트에 넣어 생성(generation)을 보강하기 때문에 '검색 증강 생성'이라 부른다.

쉽게 이해하기

발표자는 RAG가 AI 분야의 사소한 구석이 아니라, LLM을 활용하는 프로젝트에서 거듭 등장하는 매우 중요하고 보편적인 솔루션 패턴이라고 강조한다. 자신이 보는 LLM 프로젝트의 다수가 바로 이 방식, 즉 '내 콘텐츠'를 LLM과 묶어 ChatGPT 같은 경험을 직원·고객·사용자에게 제공하는 형태라고 말한다.

먼저 검색엔진과 LLM의 차이를 설명한다. 검색엔진이 관련 링크를 나열해 사용자가 직접 읽고 답을 찾게 한다면, LLM은 그 내용을 소화·결합·조립해 새로운 답을 생성한다. 문제는 이 경험을 인터넷이 아닌 '내 콘텐츠'(웹사이트, PDF 문서, 서비스 티켓 등)에 적용하고 싶을 때 발생하며, RAG가 그 해법이다.

동작은 의료 챗봇 예시로 설명된다. '주차 가능한가요?' 같은 환자 질문에 일반 답변 대신 우리 병원의 답을 주려면, 프롬프트에 ① 지시문(예: 병원 상담원 역할로 친절하게 답하라)과 ② 우리 콘텐츠에서 가져온 관련 정보, ③ 실제 질문을 함께 담아 LLM에 보낸다. 이렇게 질문 앞에 붙는 맥락이 '프롬프트 앞의 프롬프트'이며, 이를 잘 다듬는 것이 프롬프트 엔지니어링이 중요한 이유다.

마지막 핵심은 방대한 콘텐츠에서 관련 부분만 추리는 방법이다. 콘텐츠를 문단 같은 청크로 쪼개 각각을 벡터(숫자의 나열)로 변환하는데, 비슷한 주제의 문단은 비슷한 벡터값을 갖는다. 사용자의 질문도 실시간으로 벡터화한 뒤 콘텐츠 벡터들과 수학적으로 비교해 가장 가까운 상위 문서(예: 5개)를 찾아내고, 그 문단들을 프롬프트에 넣어 답을 생성한다. 이렇게 콘텐츠를 벡터화해 저장하는 것이 벡터 데이터베이스다.

주요 인사이트

• RAG의 가치는 LLM의 강력한 생성 능력을 인터넷이 아닌 '내 데이터'에 적용할 수 있게 해 준다는 데 있다.
• 질문에 지시문과 관련 콘텐츠를 덧붙이는 '프롬프트 앞의 프롬프트' 설계가 답변 품질을 좌우한다.
• 콘텐츠를 청크로 쪼개 벡터로 만들면, 의미가 비슷한 문단끼리 벡터값이 가까워져 유사도 검색이 가능해진다.
• 질문 벡터와 가장 가까운 상위 문서만 골라 프롬프트에 넣으므로, 거대한 콘텐츠에서도 관련 부분만 효율적으로 활용한다.
• 제품 문서 챗봇, 서비스 티켓 해결, 의료 상담 등 '내 콘텐츠 기반 질의응답'이 대표적 활용처다.

자주 묻는 질문

관련 AI 소식