RAG 원리 완전 정리: 임베딩과 벡터 검색으로 LLM 환각을 줄이는 검색 증강 생성 구조

핵심 메시지

• 대형 언어 모델은 자기가 무엇을 아는지 모르고 그럴듯한 다음 토큰을 예측할 뿐이라, 존재하지 않는 논문과 라이브러리, 즉석에서 만든 통계를 확신에 찬 어조로 내놓는다.
• 모델을 더 키우는 길은 수익이 줄어든다. 인터넷 전체를 외울 수도 없고 정보가 바뀔 때마다 다시 학습시킬 수도 없기 때문이다.
• RAG는 기억 대신 검색을 택한다. 질의 시점에 관련 문서를 찾아 프롬프트에 넣어주면 모델은 암기 기계가 아니라 내 데이터 위에서 추론하는 엔진이 된다.
• 키워드 검색은 '인증 오류'와 '로그인 문제'처럼 뜻은 같고 단어가 다른 경우를 놓치므로, 의미를 좌표로 바꾸는 임베딩과 코사인 유사도 기반 벡터 검색을 쓴다.
• 기본 RAG 위에 리랭킹, 하이브리드 검색, 질의 재작성, 멀티홉 검색을 얹으면 정확도가 크게 올라간다.

쉽게 이해하기

영상은 챗봇이 발표된 적 없는 논문을 인용하고, 존재하지 않는 라이브러리를 추천하며, 진짜처럼 생긴 가짜 URL을 만들어내는 장면에서 출발한다. 챗봇에서는 민망한 수준이지만 의료나 법률, 금융 서비스에서는 곧바로 책임 문제가 된다. 원인은 단순하다. 언어 모델은 참인 문장이 아니라 그럴듯한 다음 토큰을 고르도록 만들어졌고, 자신이 무엇을 모르는지도 알지 못한다.

직관적인 해법은 모델을 더 키우는 것이지만 영상은 그 길의 한계를 지적한다. 인터넷 전체를 가중치에 욱여넣을 수 없고, 정보가 바뀔 때마다 재학습할 수도 없다. 그래서 질문을 뒤집는다. 'X에 대해 무엇을 알고 있나'가 아니라 'X에 대한 문서를 줄 테니 이걸 보고 답하라'로 바꾸는 것이다. 지식을 모델 바깥에 두는 이 방식이 검색 증강 생성, 곧 RAG다.

관건은 관련 문서를 어떻게 찾느냐다. 사용자가 '인증 오류를 어떻게 고치나'라고 묻는데 문서에는 '로그인 문제 해결'이라고 적혀 있으면 키워드 검색은 그대로 놓친다. 그래서 텍스트를 수백에서 수천 차원의 벡터로 바꾸는 임베딩을 쓴다. 뜻이 비슷한 문장은 벡터 공간에서 가까이 모이고, 덕분에 기계는 개가 민주주의보다 강아지에 가깝다는 사실을 다룰 수 있게 된다.

검색은 질문도 같은 방식으로 벡터로 바꾼 뒤 가장 가까운 이웃을 찾는 식으로 이뤄진다. 두 벡터가 이루는 각이 작을수록 유사도가 높다는 코사인 유사도가 기준이다. 수백만 개를 하나씩 비교하면 느리므로 벡터 데이터베이스는 HNSW 같은 근사 최근접 이웃 알고리즘으로 그래프 색인을 만들어, 정확도를 아주 조금 내주고 속도를 크게 얻는다.

전체 흐름은 질문 임베딩, 벡터 검색으로 상위 조각 회수, 그 조각들을 컨텍스트로 프롬프트에 주입, 그리고 '이 정보만 사용해 답하라'는 지시로 이어진다. 문서를 자르는 단위도 중요해서, 너무 작으면 맥락이 사라지고 너무 크면 토큰을 낭비하므로 문단이나 고정 토큰 수로 나누되 경계를 겹치게 하는 방식이 흔히 쓰인다. 영상은 RAG가 AI를 더 똑똑하게 만드는 것이 아니라 더 나은 검색으로 추론 엔진을 먹여 살리는 구조라는 말로 마무리한다.

주요 인사이트

• RAG의 핵심 이점은 정확도만이 아니라 갱신 속도다. 미세조정 없이 문서 한 건만 고쳐도 AI의 답이 즉시 달라진다.
• 벡터 검색은 빠르지만 근사적이고, 리랭킹은 느리지만 정밀하다. 영상은 둘을 대체재가 아니라 순서대로 쓰는 조합으로 제안한다.
• 임베딩만으로는 사용자가 정확한 문구를 찾고 싶을 때를 놓치므로, 의미 유사도와 옛 방식의 키워드 매칭을 함께 쓰는 하이브리드 검색이 회수율을 높인다.
• 질문이 모호하면 검색을 시작하기 전에 정교한 질의로 다시 써주고, 복잡한 질문은 여러 번의 검색을 연결하는 멀티홉 방식으로 나눠 푼다.
• 청킹은 성능 튜닝 지점이다. 조각이 작으면 맥락이 끊기고 크면 토큰을 낭비하므로, 경계를 겹치게 잘라 의미가 잘려나가는 것을 막는다.

자주 묻는 질문

관련 AI 소식