RAG(검색 증강 생성) 쉽게 이해하기 - AI 환각을 줄이는 그라운딩 원리

핵심 메시지

• AI 기업이 확보한 데이터는 모델 "훈련"에 쓰이거나, 답변의 "근거 자료(grounded source)"로 쓰이는 두 가지 용도가 있다.
• 근거가 없으면 LLM은 그럴듯해 보이는 토큰을 조합할 뿐 정답을 보장하지 못한다.
• RAG(검색 증강 생성)는 질문을 데이터베이스에 보내 관련 정보를 받아온 뒤 그 정보로 답변을 보강해 사실에 근거한 응답을 만든다.
• 시맨틱 캐시를 두면 완성된 답변을 저장해 두었다가 다음에 같은 요청이 오면 AI를 거치지 않고 바로 응답할 수 있다.

쉽게 이해하기

영상은 레딧이 구글에, 오토매틱(워드프레스·텀블러)이, 파이낸셜타임스가 오픈AI에 데이터를 판다는 최근 소식으로 시작한다. 언뜻 AI 기업이 데이터를 긁어가 출처를 무력화하는 것처럼 보이지만, 발표자는 실제로 벌어지는 일이 그보다 복잡하다고 설명한다. 핵심은 AI 기업이 데이터를 두 가지 방식으로 쓸 수 있다는 점이다. 하나는 모델을 새로 만드는 "훈련"이고, 다른 하나는 답변의 "근거 자료"로 활용하는 것이다.

ChatGPT 같은 AI에 프롬프트를 넣으면 시스템이 완성형 응답을 내놓는다. 문제는 훈련 데이터 안에 있는 내용을 물어볼 때, 모델이 정답처럼 보이는 무언가를 조립해 낼 뿐 실제로 질문에 답한다는 보장이 없다는 것이다. 이는 언어처럼 보이게 토큰을 이어 붙인 결과일 수 있다.

이 문제를 푸는 방법이 바로 근거 자료를 더하는 것이다. 사용자가 질문하면 AI가 그 질문을 정보가 담긴 데이터베이스로 보내고, 일치하는 정보가 다시 AI로 돌아온다. AI는 이 정보를 사용자 요청과 결합해 사실에 근거한 응답을 내놓는다. 언론사·플랫폼과의 협력에서도 AI가 곧장 답하려 하기보다, 먼저 근거 자료에서 정보를 가져와 답을 구성하게 된다.

발표자는 이 과정을 "검색 증강 생성(retrieval augmented generation)"이라 부른다. 정보를 검색(retrieve)한 뒤 그 정보로 보강(augment)해 돌려주기 때문이다. 빈 화면에 글을 써 달라고 하면 그저 그런 글이 나오지만, 글의 시작점을 주고 다듬어 달라고 하면 훨씬 나은 결과가 나오는 것과 같은 이치다. 여기서 한 걸음 더 나아가 시맨틱 캐시를 도입하면, 근거 자료에서 가져온 정보를 AI에 넣어 만든 완성 답변을 캐시에 저장해 두었다가 다음번에는 AI를 아예 건너뛸 수 있다.

주요 인사이트

• RAG의 본질은 "모델이 직접 기억으로 답하게" 하지 않고 "실제 데이터에 스스로를 근거 지우게" 하는 방향 전환이다.
• AI 기업이 데이터를 사는 행위가 곧 출처 무력화로 직결되는 것은 아니다. 근거 자료로 쓰는 경우에는 오히려 원천 데이터에 의존한다.
• 환각을 줄이는 가장 실질적인 방법 중 하나가 답변을 외부의 신뢰할 수 있는 데이터에 묶어 두는 그라운딩이다.
• 시맨틱 캐시는 비용과 지연을 줄이는 장치로, 반복되는 질의에서 AI 호출 자체를 우회하게 해준다.

자주 묻는 질문

관련 AI 소식