웹 컨텍스트 비용: AI 검색과 CaaS를 빌릴 때 vs 직접 구축할 때의 손익분기점

핵심 메시지

• 웹 데이터는 빠르게 낡는다. 소셜 콘텐츠는 하루도 지나지 않아, 뉴스·금융·유통 데이터도 30일이 지나면 대부분 쓸모가 없어지기 때문에 웹에서 맥락을 얻는 일은 한 번으로 끝나는 작업이 아니다.
• 발표자는 AI 검색 서비스, 컨텍스트를 판매하는 이른바 CaaS 업체, 그리고 직접 만든 수집 파이프라인을 같은 과제에 붙여 비교했다. 회사 하나를 25개 항목으로 채우는 작업을 100번 반복하는 방식이었다.
• 결과의 핵심은 총량이 아니라 반복 빈도였다. 같은 질문을 다시 던져도 첫 질문과 똑같은 비용이 붙기 때문에, 답이 바뀌지 않았더라도 요금은 그대로 발생한다.
• 직접 구축에는 초기 투자가 들지만 그 뒤의 조회는 추가 비용이 거의 없다. 설정 기간을 일주일, 비용을 5,000달러로 잡았을 때 이 실험에서는 1만 5,000건을 조금 넘는 지점에서 자체 구축이 더 저렴해졌다.
• 발표자는 이것을 벤치마크가 아니라 하루 남짓 만든 테스트라고 분명히 선을 그으면서도, 실제 손익분기점은 대부분의 팀이 짐작하는 것보다 더 낮은 곳에 있을 것이라고 봤다.

쉽게 이해하기

AI 에이전트가 사람 대신 조사와 판단을 맡기 시작하면서, 웹은 단순한 데이터 저장소가 아니라 에이전트가 참고할 맥락의 공급원이 됐다. 발표자는 지난 20여 년간 검색이 사실상 구글 하나였다면, 최근 몇 년 사이 챗봇 안으로 검색이 들어오고 나아가 사람이 아니라 에이전트만을 위해 웹을 색인하는 회사들이 등장했다고 정리했다. 최근에는 대형 클라우드 업체들도 자체 색인과 웹 검색 기능을 에이전트 개발 도구의 일부로 내놓으면서 이 영역이 빠르게 붐비고 있다.

그런데 검색만으로는 채울 수 없는 맥락이 있다. 오늘 어떤 상품의 가격이 얼마인지는 검색으로 알 수 있지만, 그 가격이 지난 6개월 동안 어떻게 움직였는지, 어떤 할인이 있었는지는 검색 결과로 나오지 않는다. 한 회사의 현재 채용 공고는 볼 수 있어도 인원 규모가 어떻게 변해 왔는지는 알 수 없다. 이 빈틈을 노려, 웹을 수집·색인하는 데서 멈추지 않고 개체별 지식 그래프를 만들어 여러 출처를 합치고 중복을 정리해 제공하는 업체들이 나타났다는 것이 발표의 출발점이다.

비교 실험은 단순했다. 회사 하나를 도메인·본사 위치처럼 쉬운 항목부터 채용 현황처럼 까다로운 항목까지 25개 필드로 채우게 하고, 항목마다 검색하거나 컨텍스트 공급자에게 물어보기를 반복하는 에이전트를 만들어 100번 돌렸다. 정보를 얼마나 채웠는지를 보면 대부분의 방식이 비슷한 수준으로 수렴했는데, 예상과 달리 컨텍스트 판매 업체 두 곳이 오히려 뒤처졌다. 이들은 자기가 이미 확보한 정보 안에서만 답할 수 있어서, 수집해 두지 않은 항목은 아무리 물어도 나오지 않기 때문이다.

비용은 더 흥미로운 그림을 보여줬다. 대부분의 선택지가 비슷한 구간에 몰렸지만 구성은 달랐다. 컨텍스트 업체는 서비스 요금 자체가 비용이었던 반면, 검색 기반 방식은 받아온 결과를 다시 쓸 수 있는 형태로 정리하는 데 상당한 토큰이 들었다. 발표자는 낮은 비용과 낮은 정보량을 함께 보인 소규모 업체를 두고, 이 시장 안에서도 저렴한 대신 데이터가 얕은 틈새 사업자가 이미 자리를 잡아 가고 있다고 해석했다.

마지막으로 발표자는 직접 만드는 쪽을 시험했다. 회사 이름만 넣으면 검색으로 관련 페이지를 찾고, 채용·기업 정보 사이트처럼 이미 출처가 뻔한 곳에서는 곧장 수집기를 붙여 데이터를 모은 뒤 간단한 규칙으로 병합하는 구조였다. 정보량은 최고 수준은 아니었지만 충분히 견줄 만했고, 조회 과정에 언어 모델을 쓰지 않아 토큰 비용은 발생하지 않았다. 그는 이 지점에서 빌린 맥락은 낡아 가지만 소유한 맥락은 쌓인다고 정리하며, 한 번 던지고 마는 질문이라면 AI 검색이 훌륭하지만 같은 질문을 계속 반복해야 한다면 계산이 달라진다고 말했다.

주요 인사이트

• 비용을 결정하는 변수는 대상의 개수가 아니라 같은 대상에 얼마나 자주 되묻느냐다. 시장 조사나 실사처럼 같은 기업을 주기적으로 다시 확인하는 업무에서는 대상이 적어도 질의 횟수가 급격히 불어난다.
• 비용이 신경 쓰이기 시작하면 팀은 조용히 범위를 줄인다. 매일 보던 것을 주 단위로 미루고, 결과를 열 건이나 스무 건만 받는 식이다. 시스템은 갖춰져 있는데 정작 얻을 수 있는 값을 다 얻지 못하게 된다는 뜻이다.
• 컨텍스트를 사서 쓰는 방식의 한계는 품질보다 범위에 있다. 공급자가 수집해 둔 항목 밖을 물으면 답이 없고, 검색은 느리더라도 계속 찾아 나갈 수 있다는 점이 실험에서 드러났다.
• 직접 만드는 쪽의 진짜 이점은 단가가 아니라 심리적 여유다. 조회에 추가 비용이 붙지 않으면 마음에 들지 않는 답을 몇 번이고 다시 물을 수 있고, 자체 데이터나 업무 규칙과 붙이는 것도 자유로워진다.
• 발표자가 스스로 벤치마크가 아니라고 못 박은 점은 그대로 받아들일 필요가 있다. 손익분기점이 1만 5,000건인지 10만 건인지는 용도에 따라 달라지며, 중요한 것은 그런 지점이 존재한다는 사실 자체다.

자주 묻는 질문

관련 AI 소식