RAG 검색 증강 생성이란? 임베딩과 벡터 데이터베이스로 나만의 챗봇 만드는 원리

핵심 메시지

• RAG(검색 증강 생성)는 이미 학습된 언어 모델에, 내가 올린 데이터를 함께 보내 답변을 만들게 하는 방식이다.
• 기본 흐름은 사용자 질문으로 내 저장소를 검색한 뒤, 검색 결과와 질문을 함께 언어 모델에 보내 답변을 생성하는 것이다.
• 필요한 구성요소는 문서 데이터 가공, 임베딩 모델, 언어 모델, 그리고 벡터 데이터베이스다.
• 임베딩은 단어·문장에 숫자를 붙여 의미가 비슷한 것끼리 가깝게 모으는 작업이고, 벡터 데이터베이스는 그렇게 정리된 결과를 모아두는 저장소다.
• 문서를 나누는 단위, 임베딩 방식, 프롬프트는 서로 영향을 주기 때문에 일관되게 맞춰야 좋은 결과가 나온다.

쉽게 이해하기

ChatGPT가 등장하면서 '나만의 챗봇'을 만들려는 시도가 늘었지만, 제대로 만들려면 기본 개념을 알아야 한다. 영상은 그 출발점으로 검색 증강 생성, 즉 RAG라는 용어를 설명한다. 기존의 시나리오 기반 챗봇이 정해진 흐름을 하나씩 따라가는 방식이라면, 언어 모델 기반 봇의 가장 큰 차이는 자연어로 사용자의 의도를 파악해 원하는 답을 준다는 점이다.

RAG의 기본 흐름은 단순하다. 사용자가 질문을 하면 그 질문으로 내 저장소를 검색하고, 검색 결과와 원래 질문, 그리고 프롬프트를 함께 언어 모델로 보낸다. 그러면 모델이 그 자료를 토대로 답변을 만든다. 이미 학습된 지식만으로 답하는 대신, 내가 올린 데이터를 근거로 답하게 하는 것이 핵심이다.

이 과정을 위해 필요한 재료는 네 가지다. 먼저 문서나 데이터를 가공해 적절한 단위로 나눈다. 언어 모델과 임베딩 모델에는 처리할 수 있는 토큰 크기가 정해져 있어 한 번에 다 보낼 수 없고, 원하는 답변의 성격에 맞춰 나눠야 하기 때문이다. 영상은 내용의 주제를 기준으로 나누는 방식이 범용성이 좋다고 설명한다.

임베딩은 글자·단어·문장을 분류하는 작업으로, 비유하자면 모든 과일에 '과일' 스티커를 붙이는 것과 같다. 임베딩 모델은 스티커 대신 정해진 개수의 숫자를 붙이고, 그 숫자가 가까운 것끼리 자연스럽게 한데 모인다. 벡터 데이터베이스는 이렇게 분류된 데이터를 좌표 위의 한 점처럼 저장하는 곳이다.

질문이 들어오면 질문도 똑같이 임베딩되어 숫자로 바뀌고, 그 숫자와 가까운 자료를 찾아낸다. 가져올 검색 결과 개수(Top K)를 정할 수 있지만, 토큰 제약 때문에 무한정 많이 가져올 수는 없다. 마지막으로 '검색 결과로 답하되, 적절한 정보가 없으면 답할 수 없다고 하라'는 식의 프롬프트를 붙여 모델에 보내면 RAG의 한 사이클이 완성된다.

주요 인사이트

• RAG는 모델 자체를 바꾸지 않고도, 내 데이터를 근거로 답하게 만들어 잘못된 정보(할루시네이션) 위험을 줄이는 실용적 접근이다.
• 임베딩 모델의 성능이 챗봇 품질을 좌우한다. 숫자를 잘못 붙이면 의미가 틀어져 검색 자체가 빗나가기 때문이다.
• 문서 분할 단위와 프롬프트가 어긋나면(예: 단어 단위로 나눠 놓고 문장으로 프롬프트) 좋은 결과가 나오지 않는다.
• 임베딩 모델은 종류마다 출력 차원(숫자 개수)이 정해져 있으며, 차원이 크다고 무조건 좋은 것은 아니고 용도에 맞게 골라야 한다.

자주 묻는 질문

관련 AI 소식