RAG란 무엇인가: 검색 증강 생성으로 LLM의 최신 정보 부재와 출처 문제 해결하기

핵심 메시지

• RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 LLM의 답변 생성 앞단에 '검색' 단계를 붙이는 프레임워크다.
• LLM의 두 가지 약점은 학습 시점 이후의 최신 정보를 모른다는 점과, 답변의 출처를 명확히 제시하지 못한다는 점이다.
• 벡터 데이터베이스에 문서를 임베딩 벡터로 저장해 두고, 질문이 오면 먼저 검색한 결과를 프롬프트와 결합해 답하게 한다.
• 새 정보가 생길 때마다 거대한 LLM을 다시 학습시키는 대신 벡터 DB만 갱신하면 되므로 비용이 크게 줄어든다.
• 검색된 문서가 근거로 남기 때문에 출처를 제시할 수 있고, 모르는 내용은 모른다고 답하도록 지시할 수도 있다.

쉽게 이해하기

영상은 LLM이 왜 가끔 엉뚱한 답을 내놓는지부터 짚는다. 발표자는 친구에게 저금리 대출 상품을 추천했던 자기 경험을 예로 든다. 예전에 기사에서 본 기억으로 '특례 보금자리론'을 추천했지만, 실제로 그 상품은 2024년 1월 29일에 폐지되고 그다음 날부터 개편된 보금자리론으로 바뀐 뒤였다.

이 실수에는 두 가지 문제가 겹쳐 있다. 하나는 최신 정보의 부재로, 정보를 접한 시점 이후의 변화를 반영하지 못한 것이다. 다른 하나는 출처의 부정확함으로, '기사에서 봤다'고는 말했지만 어떤 기사인지, 믿을 만한 기사였는지 증명할 수 없다. LLM도 똑같은 방식으로 실수한다는 것이 영상의 출발점이다.

만약 답하기 전에 보도자료나 금융기관 웹사이트를 확인했다면 답은 달라졌을 것이다. RAG는 바로 이 확인 과정을 시스템으로 만든 것이다. LLM 옆에 벡터 데이터베이스를 두고, 인터넷에 공개된 문서든 회사 내부에서만 쓰는 문서든 임베딩 벡터 형태로 저장해 둔다. 사용자가 질문하면 LLM이 곧바로 답하지 않고 먼저 이 데이터베이스를 검색한 뒤, 검색 결과와 질문을 결합해 답을 만든다.

동작 순서로 보면 차이가 분명해진다. 일반적인 생성 모델은 사용자의 프롬프트를 받아 이미 학습한 지식 안에서 답한다. RAG를 적용하면 '먼저 데이터베이스를 검색하고, 그 결과를 사용자 질문과 결합해 답하라'는 지시가 함께 전달되고, 답변의 근거가 학습 데이터가 아니라 검색된 문서가 된다.

이 구조는 두 문제를 동시에 푼다. 새 정보가 생겼을 때 비용이 큰 LLM 재학습 대신 상대적으로 가벼운 벡터 DB만 갱신하면 되고, 답변이 어느 문서에서 나왔는지 근거를 제시할 수 있어 환각도 줄어든다. 나아가 아는 내용만 답하고 모르는 것은 모른다고 말하도록 지시하는 것도 가능해진다.

주요 인사이트

• LLM의 환각은 거짓말이 아니라 '오래된 지식을 자신 있게 말하는 상태'에 가깝다. 사용자가 알아채기 어렵다는 점이 진짜 위험이고, RAG는 근거 문서를 함께 제시해 이 위험을 낮춘다.
• RAG의 실질적인 매력은 정확도만이 아니라 비용 구조에 있다. 정보가 바뀔 때마다 모델 전체를 다시 학습시키는 대신 벡터 DB에 문서만 넣으면 되므로, 정보가 자주 바뀌는 업무일수록 이점이 커진다.
• 공개 문서뿐 아니라 사내 전용 문서도 벡터 DB에 넣을 수 있다는 점에서, RAG는 '우리 회사만 아는 지식'을 LLM에 붙이는 가장 현실적인 방법이 된다.
• 출처 제시가 가능해지는 이유는 답변의 근거가 모델 내부 파라미터가 아니라 외부 문서이기 때문이다. 검색 단계를 분리한 설계 자체가 신뢰성을 만들어 낸다.

자주 묻는 질문

관련 AI 소식