RAG 뜻과 원리 완전 정리: 환각·기억 부재·토큰 제한을 넘는 검색 증강 생성 파이프라인

핵심 메시지

• RAG는 새로운 마법이 아니라 LLM이 원래 가진 세 가지 한계를 우회하려고 만들어진 프레임워크다.
• 환각은 사전 학습 데이터 바깥의 정보에 취약한 딥러닝 모델의 성질에서 나오며, 모델마다 학습 시점이 정해져 있다는 사실이 그 근거다.
• 대화가 이어지는 것처럼 보여도 모델이 어제의 대화를 학습한 것은 아니며, 저장된 내용을 그때그때 다시 불러오는 구조에 가깝다.
• 입력이 10배 늘면 계산량은 100배로 뛰기 때문에 API 제공사들은 컨텍스트 창에 상한을 두고, 그래서 토큰 제한 문제는 계속 남는다.
• RAG의 세 단계는 검색(리트리벌)·증강(어그멘테이션)·생성(제너레이션)이며, 벡터DB에서 찾은 힌트를 질문에 붙여 프롬프트를 만드는 것이 핵심이다.

쉽게 이해하기

AI 교육 채널 모두의AI가 공개한 강의 영상은 'RAG를 보완하는 에이전트'라는 주제를 다루기 전에, RAG라는 프레임워크가 왜 필요했는지부터 되짚는다. 강사는 요즘 매체가 LLM을 그냥 'AI'라고 부르다 보니 사람들이 'AI라면 이 정도는 해야 하는 것 아니냐'는 기대를 갖게 되지만, LLM도 결국 딥러닝 모델이라 그 계열이 원래 갖고 있던 약점을 똑같이 안고 있다고 설명한다.

첫 번째 한계는 널리 알려진 환각이다. 모델은 사전 학습된 데이터 바깥의 정보에 취약한데, 강의에서는 대표적인 상용 모델들이 각각 2023년 9월과 2024년 4월까지의 데이터로 학습돼 있다는 예를 든다. 그래서 학습 시점 이후의 일을 물으면 모른다고 하지 않고 아는 척하며 엉뚱한 답을 만들어 낸다는 것이다.

두 번째는 기억의 부재다. 사용자가 '이건 꼭 기억해 둬'라고 말해도 모델이 그 내용을 학습하는 것이 아니라 하나의 질문으로 처리할 뿐이다. 챗봇에서 이전 대화를 기억하는 것처럼 느껴지는 이유는 대화방마다 내용이 저장돼 있다가 필요할 때 다시 불려 오기 때문이며, 모델 자체가 어제의 대화를 학습한 상태는 아니라고 강사는 정리한다.

세 번째는 토큰 제한이다. GPT 계열 구조는 입력이 늘어나는 만큼 계산량이 기하급수적으로 증가해, 입력을 10배로 넣으면 계산량은 100배가 된다. 그래서 API 제공사들은 입력 상한을 두는데, 강의에서는 12만 8천 토큰과 20만 토큰이라는 실제 상한 사례가 언급된다. 컨텍스트 창을 늘리려는 시도가 이어지지만 무한정 넣을 수는 없으니 이 문제는 여전히 남는다.

RAG는 이 세 한계를 우회한다. 강사는 '갤럭시 Z 시리즈 최신 모델이 뭐냐'는 질문을 예로 든다. 모델이 모르는 정보라도 답이 될 만한 힌트를 질문과 함께 넣어 주면 그 힌트를 근거로 올바르게 답하게 된다는 것이다. 구성 요소는 이름 그대로 세 단계로, 질문에서 키워드와 의미를 뽑아 벡터DB에서 관련 높은 문서를 찾는 검색, 찾아온 힌트를 질문에 결합해 프롬프트를 부풀리는 증강, 그 프롬프트를 모델에 보내 답을 만들게 하는 생성이다. 강의는 이 파이프라인에 벡터DB에 문서를 미리 넣어 두는 인덱싱 과정이 빠져 있다고 짚으며 다음 설명을 예고한다.

주요 인사이트

• RAG를 도구가 아니라 '한계 대응책'으로 이해하면 도입 판단이 쉬워진다. 우리 업무의 문제가 최신성 부족인지, 세션 간 기억 부재인지, 너무 긴 문서인지에 따라 RAG가 실제로 해결해 주는 범위가 달라지기 때문이다.
• 환각의 원인을 '모델이 거짓말한다'가 아니라 '학습 시점 밖 정보에 취약하다'로 옮겨 보면, 사내 문서나 최신 자료를 붙여 주는 것만으로 상당 부분이 줄어드는 이유가 설명된다.
• 입력 10배에 계산량 100배라는 설명은 컨텍스트를 무작정 늘리는 접근이 왜 비싼지 보여 준다. 긴 문서를 통째로 넣기보다 필요한 조각만 검색해 넣는 편이 비용과 속도 양쪽에서 유리하다.
• 챗봇의 '기억'이 모델 학습이 아니라 저장·재호출이라는 점은 개인정보와 보안 관점에서도 중요하다. 어디에 무엇이 남는지가 곧 설계 문제가 된다.
• 이 강의가 RAG 다음에 에이전트를 다루려는 이유도 여기서 드러난다. RAG 역시 한계가 있고, 그 한계를 다시 시스템 수준에서 보완하려는 흐름이 에이전트라는 것이다.

자주 묻는 질문

관련 AI 소식