RAG 검색 증강 생성이란? LLM 환각을 줄이는 원리 쉽게 이해하기

핵심 메시지

• RAG(Retrieval Augmented Generation)는 LLM이 답을 내기 전에 외부 지식에서 관련 정보를 먼저 찾아보게 하는 기법이다.
• 오픈북 시험처럼, 학생(LLM)이 교과서(외부 지식)를 펼쳐 정답을 찾는 과정이 바로 RAG다.
• RAG는 LLM의 두 가지 약점 — 근거 부재와 오래된 정보 — 이 부르는 환각(hallucination)을 줄여 준다.
• 이름 그대로 검색(Retrieve)·증강(Augment)·생성(Generate)의 세 단계로 동작한다.

쉽게 이해하기

발표자는 RAG를 시험 비유로 시작한다. 노트도 자료도 없이 기억에만 의존해 어려운 기말시험을 보는 학생은 특정 사실을 못 외웠다면 찍을 수밖에 없다. 그런데 선생님이 교과서를 통째로 건네면 학생은 알맞은 페이지를 펼쳐 정확한 정보를 찾아 답을 쓴다. 여기서 학생은 LLM, 교과서는 외부 지식원, 교과서를 펼쳐 답을 찾는 행위가 바로 RAG다. 정식으로는 언어 모델이 문서·PDF·데이터베이스 같은 외부 지식원에서 관련 정보를 먼저 검색한 뒤 그것을 바탕으로 더 정확한 답을 생성하는 기법으로, 한마디로 '검색 먼저, 답변은 그다음'이다.

RAG가 푸는 문제는 환각이다. 챗봇이 완전히 틀린 답을 자신만만하게 내놓는 현상으로, 그럴듯하지만 실제 사실이나 신뢰할 데이터에 근거하지 않은 정보를 만들어 낼 때 생긴다. 원인은 두 가지다. 첫째, 표준 LLM은 학습 때 본 데이터만으로 답하므로 직접적 근거가 없어 없는 것을 지어낼 가능성이 크다. 둘째, 학습 데이터가 오래됐으면 정책·연구·가격처럼 계속 바뀌는 정보에 낡은 답을 준다. 모델은 거짓말을 하려는 게 아니라 가장 그럴듯한 답으로 빈칸을 메우는 것뿐이며, RAG는 신뢰 출처와 최신 정보를 함께 줘 이 두 문제를 동시에 해결한다.

동작은 이름 속 세 단어에 그대로 담겨 있다. 첫째 검색(Retrieve): 질문이 들어오면 모델이 곧장 답하지 않고 시스템이 먼저 데이터베이스·PDF 모음·실시간 웹 등에서 관련 정보를 찾는다. 둘째 증강(Augment): 찾은 정보를 원래 질문에 덧붙여 '질문 + 방금 검색한 맥락'을 함께 모델에 보낸다. 시험 전에 요약 자료를 손에 쥐여 주는 셈이다. 셋째 생성(Generate): 모델이 그 맥락과 질문을 결합해 답을 만든다. 이번에는 추측이 아니라 실제로 관련 있고 최신인 정보를 근거로 답한다.

발표자는 검색 계층의 내부도 파이프라인으로 설명한다. 먼저 임베딩은 텍스트를 AI가 이해하는 유일한 형식인 숫자, 즉 의미를 담은 벡터로 바꾸는 과정이다. 이 벡터들은 벡터 데이터베이스에 저장되는데, 행과 열 대신 벡터를 저장하고 빠르게 검색하도록 최적화돼 있다. 질문이 들어오면 질문도 벡터로 바뀌고, 시스템은 저장된 벡터 중 질문 벡터와 가장 가까운 것을 찾는 유사도 검색을 수행한다.

가까움은 코사인 유사도로 잰다. 같은 점에서 뻗은 두 화살표가 비슷한 방향이면 의미가 비슷하고 반대 방향이면 의미가 다르다는 직관으로, -1에서 1 사이 점수(1은 동일, 0은 무관, 음수는 반대)를 매긴다. 즉 시스템은 단어를 읽는 게 아니라 의미의 방향을 수학적으로 비교한다. 이렇게 뽑힌 가장 관련 높은 문서가 질문과 함께 LLM에 전달되면, 모델은 추측 없이 근거 있는 답을 생성한다.

주요 인사이트

• RAG의 본질은 '검색 먼저, 답변은 그다음'이다. 이 순서 하나가 지어내는 AI를 '어디서 찾을지 아는 AI'로 바꾼다.
• 환각은 모델의 두 한계(근거 부재·정보 노후)에서 비롯되며, RAG는 신뢰 출처와 최신성을 함께 공급해 이를 완화한다.
• 유사도 검색은 단어 일치가 아니라 임베딩 벡터의 방향(의미)을 코사인 유사도로 비교하는 방식이다.
• RAG는 하나의 기술이 아니라 임베딩 → 벡터 DB → 유사도 검색 → LLM으로 이어지는 여러 구성요소의 파이프라인이다.

자주 묻는 질문

관련 AI 소식