벡터 데이터베이스와 RAG로 AI 교사 만들기 — ChatGPT 응답 품질을 높이는 방법

핵심 메시지

• 단순히 OpenAI API로 질문을 그대로 전달하면 응답 품질이 낮아, 관련 자료를 함께 제공하는 방식이 필요하다.
• 벡터 데이터베이스는 객체를 다차원 공간의 점으로 표현해 "주어진 질문과 비슷한 자료"를 빠르게 찾아준다.
• 관련 영상 자막 파일들을 찾아 LLM에 컨텍스트로 넘기면 응답이 사람에 가깝게 정교해진다.
• 이 검색–보강–생성 흐름이 바로 요즘 주목받는 RAG(검색 증강 생성)의 핵심이다.
• 토큰 과금은 전송하는 글자 수 기준이며, 자료 저장 자체는 일회성 비용이라는 점이 설계의 핵심 고려사항이다.

쉽게 이해하기

발표자는 동영상 강의와 PDF를 제공하는 교육 스타트업을 운영하면서, 학생들의 질문에 즉시 답할 방법을 고민했다. 사람 조교를 두는 방식은 비용이 크고 교육·응답 속도가 들쭉날쭉하다는 단점이 있어, 대안으로 대형 언어 모델을 활용하기로 했다.

처음에는 OpenAI API에 질문을 그대로 넘겨 답을 받는 단순한 방식을 시도했지만, 100달러어치 API를 써가며 테스트한 결과 응답 품질이 매우 나빴다. 모델이 해당 강의의 맥락을 모른 채 일반적인 답만 내놓았기 때문이다.

해결책은 강의 영상의 자막(트랜스크립트)을 저장해 두고, 질문이 들어오면 관련 자료를 함께 모델에 넘기는 것이었다. 다만 단일 영상 하나만 참고하면 주변 개념에 대한 질문을 놓치므로, "이 질문과 관련된 모든 영상"을 찾아 컨텍스트로 제공하는 방식이 필요했다.

여기서 등장하는 기술이 벡터 데이터베이스다. 글을 다차원 공간의 한 점으로 표현하면, 영상 길이·특정 용어의 빈도 같은 특성이 좌표가 되고, 질문과 가까운 점(=비슷한 자료)을 코사인 계산을 직접 하지 않고도 API 한 번으로 찾을 수 있다.

발표자는 이미 Postgres를 쓰고 있어 pgvector 확장을 제공하는 Neon 서버리스를 선택했다. 내부적으로는 HNSW(Navigable Small World) 알고리즘으로 벡터를 군집화해 비교 대상을 크게 줄이고, 데이터 버전 이력을 되짚을 수 있는 점도 모델 성능 비교에 유용하다고 설명한다.

주요 인사이트

• LLM 응답 품질의 핵심은 모델 자체가 아니라 "어떤 맥락을 함께 넘기는가"에 달려 있다.
• 벡터 데이터베이스는 유사도 검색을 추상화해, 개발자가 직접 수학 연산을 구현하지 않아도 되게 해준다.
• RAG는 검색(관련 자료 찾기) → 보강(질문에 맥락 덧붙이기) → 생성(최종 답변)의 세 단계로 요약된다.
• AI가 즉답을 주면 완벽하지 않더라도 24시간 기다릴 필요가 없고, 이후 관리자가 답을 검수·교체할 수 있다.
• AI 모델 운영에서는 코드뿐 아니라 데이터도 변하므로, 같은 비교를 위해 데이터 버전 관리가 중요하다.

자주 묻는 질문

관련 AI 소식