RAG 동작 원리 완전 정리: 지식베이스, 청킹, 임베딩, 벡터 검색까지 단계별 해설

핵심 메시지

• RAG는 질문과 함께 관련 문서를 찾아 넣어 주는 구조로, 모델이 학습 시점 이후의 정보나 사내 전용 자료를 다룰 수 있게 해 준다.
• 언어 모델은 사실을 그대로 되뇌도록 설계된 시스템이 아니기 때문에, 좁고 구체적인 질문일수록 외부 근거를 붙여 주는 편이 정확하다.
• 지식베이스 구축은 파일을 그냥 넣는 일이 아니라 비정형 데이터를 텍스트로 바꾸는 전처리 작업이며, 자료 종류마다 방식이 달라진다.
• 청킹에는 만능 규칙이 없고, 표가 잘리지 않게 하거나 코드베이스를 파일·함수 단위로 나누는 식으로 자료 성격에 맞춰야 한다.
• 임베딩은 문장을 의미가 담긴 숫자 목록으로 바꾸는 작업이고, 검색은 그 숫자들 사이의 거리를 재는 방식으로 이뤄진다.

쉽게 이해하기

검색 증강 생성(RAG)은 이름만 들으면 단순하지만 안을 열어 보면 여러 단계가 겹쳐 있다. 영상은 고급 기법을 다루기 전에 기본 구조를 짚겠다는 취지로, 사용자의 입력이 모델로 곧장 가는 경우와 관련 자료를 먼저 찾아 함께 보내는 경우를 나란히 놓고 시작한다. 뒤쪽이 RAG이고, 모델은 질문과 근거 자료를 함께 받아 답을 만든다.

왜 필요한지는 실험으로 보여 준다. 발표자는 특정 센서 제품의 소비 전력을 묻는 질문을 준비했는데, 이 제품은 모델의 학습 시점 이후에 나온 데다 사양이 데이터시트에만 적혀 있는 종류의 정보다. 그냥 물었을 때와 관련 문서를 붙여 물었을 때의 답이 서로 달랐고, 원본 데이터시트와 대조한 결과 문서를 붙인 쪽이 맞았다. 모델이 세상 전반에 대한 이해는 넓지만, 최신이거나 특정 조직에만 있는 정보는 갖고 있지 않다는 점이 그대로 드러난 장면이다.

실제 구축은 지식베이스 만들기부터다. 파워포인트, 워드 문서, 이메일, 엑셀, 이미지, 음성처럼 표에 담기지 않는 자료가 대상인데, 모델은 대체로 텍스트를 처리하므로 먼저 텍스트로 바꿔야 한다. 발표자는 PDF 데이터시트를 광학 문자 인식과 비전 모델을 활용해 마크다운으로 변환하는 방식을 보여 주며, 자료 종류마다 전처리 방식이 달라지므로 실제 서비스에서는 실험이 필요하다고 덧붙인다.

다음은 청킹이다. 모델이 한 번에 받을 수 있는 양에 상한이 있고, 문서가 수백·수천 건으로 늘어나면 통째로 넣을 수 없기 때문이다. 마침표나 줄바꿈 같은 구분자, 글자 수나 토큰 수 기준 등 방법은 여러 가지인데, 이 영상에서는 마크다운 헤더를 경계로 삼아 문서를 나눴다. 헤더 하나가 대체로 완결된 절에 대응하리라는 기대에서다. 앞뒤 조각이 조금씩 겹치도록 중첩을 두어 문맥이 끊기지 않게 하는 처리도 함께 적용했다.

마지막은 검색과 생성이다. 문장을 숫자 목록으로 바꾸는 임베딩 모델은 큰 언어 모델과는 다른 계열로, 빈칸 채우기 같은 학습을 거쳐 문장의 의미까지 숫자에 담도록 훈련된다. 발표자는 백여 개 단어를 임베딩한 뒤 3차원으로 줄여 그려 보이는데, 직업군끼리, 날씨 관련 어휘끼리 서로 가까이 모이는 모습이 나타난다. 검색은 이 공간에서 질문과 조각 사이의 거리를 재는 일이고, 실제로 돌려 보면 정답이 담긴 조각이 1위가 아니라 2위로 올라오기도 한다. 그래서 상위 다섯 개나 열 개를 한꺼번에 가져와 모델에 넘기는 방식이 흔하다.

주요 인사이트

• RAG의 어려움은 검색 알고리즘보다 앞 단계에 몰려 있다. 어떤 자료를 지식베이스에 넣을지, 그것을 어떤 텍스트로 바꿀지가 결과 품질을 좌우하는데, 이 과정에는 자료 종류마다 다른 손질이 필요하다.
• 청킹에서 표를 쪼개지 않는다는 원칙은 사소해 보이지만 결정적이다. 사양표가 두 조각으로 갈리면 값과 항목이 서로 떨어져 검색에도, 답변에도 쓸 수 없는 조각이 된다.
• 유사도 검색이 정답 조각을 1위로 올려 주지 않는 사례가 실제로 나온다는 점은 눈여겨볼 만하다. 질문에는 정답과 무관한 표현도 섞여 있고 조각에도 여러 내용이 담겨 있어, 상위 몇 건을 함께 넘기는 여유가 필요하다.
• 임베딩 차원이 수백 개라는 말이 추상적으로 들리지만, 3차원으로 줄여 그린 그림을 보면 '비슷한 개념이 가까이 모인다'는 성질 하나로 검색이 성립한다는 점이 직관적으로 이해된다.
• 모델이 학습 시점 이후 정보를 모른다는 한계는 널리 알려져 있지만, 이 영상은 여기에 더해 '모델은 사실을 그대로 재생하도록 만들어진 시스템이 아니다'라는 점을 함께 짚는다. 최신 자료를 학습시켜도 남는 문제라는 뜻이다.

자주 묻는 질문

관련 AI 소식