RAG 핵심 원리 총정리, 청킹부터 임베딩과 벡터 검색, 리랭킹과 하이브리드 검색까지

핵심 메시지

• RAG는 기억만으로 요리하는 요리사와 냉장고를 먼저 열어 재료를 확인하는 요리사의 차이로 설명할 수 있다.
• RAG의 성패를 가르는 것은 답을 잘 만드는 능력이 아니라 자료를 잘 찾아오는 검색 품질이다.
• 청킹의 기준은 조각 크기가 아니라 '이 조각만 읽어도 무슨 말인지 이해되는가'이며, 앞뒤를 겹치는 오버랩으로 경계에서 잘려 나가는 문맥을 살린다.
• 임베딩은 답을 만드는 기술이 아니라 자료를 찾기 위한 준비 작업이고, 벡터 검색도 정답이 아니라 후보를 골라내는 1차 검색이다.
• 조사와 어미 변화가 심한 한국어에서는 벡터 검색과 키워드 검색을 함께 쓰는 하이브리드 검색이 특히 중요하다.

쉽게 이해하기

RAG는 검색 증강 생성이라는 우리말 이름이 붙어 있지만, 원리는 요리사 두 명을 떠올리면 간단해진다. 첫 번째 요리사는 레시피 없이 기억만으로 요리한다. 기억이 흐릿해지면 즉흥으로 지어내고, 그래서 가끔 이상한 요리가 나온다. 학습한 기억에만 의존해 그럴듯하게 틀린 답을 내놓는 언어 모델의 환각이 바로 이 모습이다.

두 번째 요리사는 요리를 시작하기 전에 먼저 냉장고를 열어 재료를 확인한다. 이 순서를 그대로 옮긴 것이 RAG다. 사용자가 질문하면 시스템이 관련 자료를 먼저 찾고, 찾은 자료를 바탕으로 답을 만든다. 덕분에 모델이 원래 모르는 사내 문서를 다룰 수 있고, 학습 시점 이후의 최신 정보도 반영할 수 있으며, 어떤 문서를 참고했는지 근거를 추적할 수 있다. 다만 영상은 자료를 제대로 가져와도 맥락을 잘못 이해하면 여전히 틀릴 수 있다며, RAG가 환각을 줄이는 것이지 없애는 것은 아니라고 못 박는다.

실제로 만들려면 먼저 문서를 조각으로 나누는 청킹이 필요하다. 500페이지짜리 PDF를 통째로 검색할 수는 없기 때문이다. 피자를 너무 잘게 자르면 토핑이 어디 갔는지 알 수 없고, 너무 크게 자르면 필요 없는 내용까지 섞여 들어온다. 문장, 문단, 글자나 토큰 수를 기준으로 나누는 방식이 있고 여기에 앞뒤를 살짝 겹치는 오버랩을 더한다. 영상은 청킹을 AI에게 맡기면 비용과 속도가 나빠지고 같은 입력에 다른 결과가 나올 수 있다며, 첫 버전은 문단 기반 청킹에 오버랩을 더하는 방식이 가장 현실적이라고 권한다.

다음은 임베딩이다. '퇴사 후 외주 계약 주의점'과 '회사 그만두고 프리랜서 할 때 조심할 것'은 사람이 보면 같은 뜻이지만 글자만 보면 완전히 다르다. 그래서 텍스트를 벡터라는 숫자로 바꿔 의미가 비슷한 것끼리 가깝게 놓는다. 지도 위에 도시를 좌표로 찍는 것과 비슷해서, 서울과 부산은 가깝고 뉴욕은 멀리 떨어진다. 질문이 들어오면 질문도 벡터로 바꿔 저장된 조각들과 코사인 유사도로 비교하는데, 이때 1등 하나만 뽑지 않고 보통 상위 세 개에서 다섯 개를 함께 가져온다. 답에 필요한 정보가 한 조각에 다 들어 있지 않을 수 있기 때문이다.

여기서 한 단계 더 나가면 리랭킹과 하이브리드 검색이 있다. 벡터 검색은 빠르지만 정밀하지 않아 예선전에 가깝고, 뽑힌 후보만 다시 정밀하게 채점하는 결승전이 리랭킹이다. 처음부터 전체를 정밀 심사하면 너무 느리고 비싸서 2단 구조를 택하는 것이며, 데이터가 적고 단순하면 없어도 된다. 한편 제품명이나 법률 용어처럼 정확한 단어 자체가 중요할 때는 전통적인 키워드 검색이 더 강하므로 둘을 함께 돌려 결과를 합친다. 관계를 따라가야 하는 질문에는 개체와 관계를 그래프로 만드는 그래프RAG가 유리한데, 이는 일반 RAG를 대체하는 것이 아니라 그 위에 한 층 더 얹는 방식이다.

주요 인사이트

• RAG를 도입할 때 흔히 답변 프롬프트부터 손대지만, 영상이 반복해서 강조하는 병목은 검색이다. 냉장고에서 엉뚱한 재료를 꺼내면 솜씨가 아무리 좋아도 이상한 요리가 나온다는 비유가 그 우선순위를 압축한다.
• 청킹을 AI에게 맡기는 것이 늘 좋은 선택은 아니다. 비용과 지연이 늘고 같은 입력에 다른 결과가 나올 수 있어, 대부분의 경우 일반 알고리즘으로 처리하는 편이 낫다는 실무적 판단이 제시된다.
• 리랭킹은 저장된 벡터를 고치는 작업이 아니라 질문이 올 때마다 후보를 다시 채점하는 일회성 작업이다. 이 구분을 놓치면 인덱스를 다시 만들어야 한다고 오해하기 쉽다.
• 한국어는 '퇴사', '퇴사를', '퇴사 이후'가 키워드 검색에서 서로 다른 단어처럼 보인다. 벡터 검색이 이를 어느 정도 흡수하지만 정확한 용어가 필요한 순간에는 키워드 검색이 여전히 강해, 둘을 같이 쓰는 것이 현실적인 답이다.
• 학습 순서를 일반 RAG, 하이브리드 검색, 그래프RAG로 권한 점도 눈여겨볼 만하다. 최신 기법부터 손대기보다 기본 배관을 먼저 세우라는 조언이다.

자주 묻는 질문

관련 AI 소식