RAG란 무엇인가: LLM의 환각·정보 노후화를 해결하는 검색 증강 생성

핵심 메시지

• RAG(검색 증강 생성)는 LLM이 답하기 전에 신뢰할 만한 콘텐츠 저장소에서 관련 자료를 먼저 검색해 결합하는 프레임워크다.
• LLM의 두 가지 흔한 약점은 답의 '출처가 없다'는 점과 학습 시점에 묶여 '정보가 낡는다'는 점이다.
• RAG에서는 프롬프트가 지시·검색된 콘텐츠·사용자 질문의 세 부분으로 구성되어, 근거를 제시하며 답할 수 있다.
• 새 정보가 생기면 모델을 재학습하지 않고 데이터 저장소만 갱신하면 되므로 최신성을 유지하기 쉽다.
• 검색기가 충분히 좋지 않으면 답할 수 있는 질문에도 좋은 근거를 주지 못해, 검색기와 생성기 양쪽을 함께 개선해야 한다.

쉽게 이해하기

IBM 리서치의 마리나 다닐레프스키는 대규모 언어 모델이 어떤 건 놀랍도록 잘 맞히면서도 어떤 건 흥미롭게 틀린다고 운을 뗀다. 그가 소개하는 해법이 바로 RAG, 검색 증강 생성이다. 먼저 '생성(Generation)' 부분만 떼어 보면, 이는 사용자의 프롬프트에 반응해 텍스트를 만들어내는 LLM 그 자체를 가리킨다.

그는 자녀가 '태양계에서 위성이 가장 많은 행성은?'이라고 물었던 일화로 LLM의 문제를 설명한다. 예전에 읽은 기사를 떠올려 '목성, 위성 88개'라고 자신 있게 답했지만, 사실 출처를 제시하지 못했고 정보도 오래된 것이었다. NASA 같은 신뢰할 출처를 먼저 확인했다면 '토성, 146개'라고 근거 있게 답할 수 있었을 것이다. 여기서 드러나는 두 문제가 바로 '출처 없음'과 '정보 노후화'다.

LLM도 똑같이 행동한다. 학습 당시의 파라미터에만 의존해 '목성'이라고 확신에 차 답하지만 그 답은 틀렸다. 여기에 '검색 증강'을 더한다는 것은 인터넷처럼 열린 곳이든 사내 문서·정책처럼 닫힌 곳이든 콘텐츠 저장소를 붙이는 것을 뜻한다. 이제 LLM은 먼저 저장소에 사용자 질문과 관련된 정보를 요청해 받아온 뒤 답하므로, 목성이 아니라 토성이라는 정답에 도달한다.

동작 방식은 이렇다. 기존 생성 모델은 질문을 받으면 곧장 아는 대로 답한다. 반면 RAG 프레임워크에서는 '먼저 관련 콘텐츠를 검색하고, 그것을 사용자 질문과 결합한 다음에야 답하라'는 지시가 붙는다. 따라서 프롬프트는 주의해야 할 지시, 검색된 콘텐츠, 사용자 질문의 세 부분으로 이뤄지며, 모델은 왜 그렇게 답했는지 근거까지 제시할 수 있다.

RAG는 앞서 말한 두 약점을 어떻게 해결할까. 정보 노후화 측면에서는 모델을 재학습할 필요 없이 데이터 저장소만 갱신하면 다음 질문부터 최신 정보를 검색해 답할 수 있다. 출처 측면에서는 1차 자료에 근거하도록 지시받기 때문에 환각이나 정보 유출 가능성이 줄고, 자료로 답할 수 없으면 '모른다'고 말하게 만들 수도 있다. 다만 검색기가 충분히 좋지 않으면 답할 수 있는 질문조차 좋은 근거를 받지 못하므로, 검색기와 생성기 양쪽을 함께 개선하는 것이 중요하다.

주요 인사이트

• RAG의 핵심은 '먼저 검색하고 나중에 생성'하도록 프롬프트에 지시를 넣는 것이다.
• 정보 노후화는 재학습 대신 데이터 저장소 갱신으로 해결할 수 있어 유지 비용이 낮다.
• 1차 자료에 근거하게 하면 환각과 정보 유출 위험이 줄고, '모른다'고 답하는 바람직한 행동도 가능해진다.
• 콘텐츠 저장소는 인터넷처럼 열린 형태일 수도, 사내 문서·정책처럼 닫힌 형태일 수도 있다.
• 검색기의 품질이 곧 답변 품질을 좌우하므로 검색기와 생성기를 동시에 개선해야 한다.

자주 묻는 질문

관련 AI 소식