OpenAI 임베딩 쉽게 이해하기: 벡터·벡터DB·검색·Q&A 활용법

핵심 메시지

• 임베딩은 문자열을 AI 시스템이 해석하는 방식을 담은 숫자 배열(벡터)로, OpenAI API 호출 한 번으로 얻을 수 있다.
• 벡터 데이터베이스는 이 벡터들을 저장하도록 설계된 DB로, 의미가 비슷한 정보가 서로 가까이 저장돼 관련성 기반 검색이 가능하다.
• 임베딩은 텍스트 검색, 코드 검색, 텍스트 유사도 같은 용도에 쓰이며, 비슷한 텍스트는 가깝게·다른 텍스트는 멀리 배치된다.
• 벡터 DB에서 질문과 관련된 문서를 찾아 그 맥락을 ChatGPT 질의에 함께 넘기면, 모델이 나만의 맞춤 데이터를 근거로 답하게 만들 수 있다.

쉽게 이해하기

임베딩은 ChatGPT 같은 AI 시스템의 "두뇌 속 지식"에 비유할 수 있다. 사람이 머릿속에 정보를 저장하듯, 특정 문자열(예: "Cooper codes는 유튜버다")을 OpenAI API로 보내면 그 문자열을 대표하는 벡터가 돌아온다. 이 벡터가 바로 AI가 해당 문자열을 해석하는 방식을 담은 숫자 배열이다. 영상에서는 벡터와 배열을 사실상 같은 것으로 봐도 된다고 설명한다.

OpenAI가 제공하는 예시 그래프에서는 각 점이 하나의 문자열 임베딩을 나타낸다. 예를 들어 운동선수에 관한 문자열들은 한 영역에 모여 있다. 이렇게 임베딩은 서로 다른 정보가 어떻게 묶이고, 어떤 정보가 서로 관련 있는지를 AI가 이해하도록 돕는다. 임베딩을 만드는 일은 사용하는 프로그래밍 언어에서 임베딩 라우트를 호출하는 간단한 API 한 번이면 된다.

만든 임베딩을 대량으로 비교하려면 벡터 데이터베이스가 필요하다. 왼쪽의 문자열들을 벡터로 바꿔 DB에 저장하는데, 이때 서로 비슷한 정보는 가까이 저장된다. 그 덕분에 다양한 임베딩으로 DB를 질의하면 특정 질의와 관련된 임베딩을 돌려받을 수 있다. 대표적인 활용처는 텍스트 검색(검색엔진처럼 질의를 임베딩해 비교), 코드 검색("두 수를 더하는 코드가 어디 있지?" 같은 질의로 관련 스니펫을 찾기), 텍스트 유사도(두 텍스트가 얼마나 비슷한지 판단)다.

영상은 임베딩 기반 Q&A 시스템 예시로 마무리한다. "Cooper codes는 프로그래머인가?"라는 문자열을 임베딩해 벡터 DB의 문서들과 비교하면, 관련 문서("Cooper codes는 프로그래머다")를 찾아낼 수 있다. 그 문서를 맥락으로 함께 넣어 ChatGPT에 질문하면, 모델이 그 맞춤 정보를 근거로 답을 돌려준다. 즉 벡터 DB의 어떤 맞춤 데이터든 ChatGPT 질의에 끼워 넣을 수 있다는 점이 강력하다.

주요 인사이트

• 임베딩은 곧 벡터(숫자 배열)이며, 이 맥락에서 벡터와 배열은 사실상 같은 의미로 쓰인다.
• 벡터 DB는 의미가 비슷한 데이터를 물리적으로 가까이 저장해, 질의와 관련된 정보를 효율적으로 찾아낸다.
• 코드 검색은 텍스트 검색의 특수한 형태로, 질의와 코드 스니펫 사이의 관련성을 임베딩으로 찾아낸다.
• 벡터 DB에서 찾은 맥락을 ChatGPT 질의에 함께 넘기는 패턴은, 맞춤 데이터를 기반으로 답하게 하는 강력한 방법이다.

자주 묻는 질문

관련 AI 소식