AI 에이전트 과금 설정: LangChain·Kong으로 토큰 사용량 미터링·빌링

핵심 메시지

• AI 에이전트의 입·출력 토큰을 고객별로 추적해 사용량 기반으로 과금하는 미터링·빌링 구축 방법을 다룬다.
• LangChain의 콜백(LLM 시작·종료)으로 토큰을 집계해 Kong 미터링·빌링에 클라우드 이벤트로 보내며, 에이전트 코드는 바꾸지 않는다.
• 입력 토큰과 출력 토큰을 서로 다른 요율로 분리 과금할 수 있으며, 보통 출력 토큰이 더 비싸게 책정된다.
• Kong Connect에서 미터 → 기능(입력·출력) → 요금제 → 요율표(레이트 카드) → 고객 → 구독 순서로 과금 체계를 구성한다.
• 시연에서는 입력 1달러·출력 2달러 요율로 설정해 실제 호출 후 자동으로 청구서가 생성되는 흐름을 보여준다.

쉽게 이해하기

이 영상은 AI 에이전트에 미터링(사용량 측정)과 빌링(청구)을 붙여 수익화하는 방법을 다룬다. 목표는 고객별로 입력·출력 토큰을 정확히 추적해 사용한 만큼 과금하는 것으로, 애플리케이션 로직은 LangChain으로, 측정·청구는 Kong으로 처리한다. 핵심은 기존 에이전트 코드를 전혀 바꾸지 않고 계측을 얹는다는 점이다.

동작 원리는 LangChain의 두 콜백에 있다. LLM 호출이 시작될 때(handleLLMStart) 입력 토큰 수를 계산하고 고객 식별자를 붙이며, LLM이 응답을 마칠 때(handleLLMEnd) 출력 토큰 수를 집계한다. 이렇게 모은 정보는 구조화된 JSON 형태의 클라우드 이벤트로 Kong 미터링·빌링에 전송돼 요율에 따라 과금된다. 예제에서는 모델로 OpenAI의 GPT-4o를 쓰지만, 자신의 모델로 교체할 수 있다.

설정은 코드베이스를 복제한 뒤 .env 파일을 채우는 것에서 시작한다. Kong 계정과 개인 액세스 토큰(PAT), OpenAI 키, 그리고 '누구에게 청구할지'를 나타내는 고객 식별자(subject), 사용할 모델을 지정한다. 이후 Kong Connect에 로그인해 미터링·빌링 메뉴로 들어가 애플리케이션이 이벤트를 실제로 보내는지 먼저 확인한다.

과금 체계는 순서대로 만든다. 먼저 'LLM 토큰' 미터를 생성하고, 요청 타입이 input·output인지에 따라 구분되는 두 개의 기능(feature)을 만든다. 그다음 이 기능들을 담는 요금제(예: Pro 플랜)를 만들고, 각 기능에 요율표를 붙인다. 시연에서는 사용량 기반 모델로 입력 토큰 1달러, 출력 토큰 2달러를 책정한다. 요금제를 게시한 뒤에는 고객(ACME)을 만들고 구독을 연결한다.

마지막으로 실제 호출을 통해 검증한다. 'say hello' 요청에 입력 11토큰·출력 11토큰이 잡히면, 입력 11달러와 출력 22달러를 합쳐 33달러의 청구서가 자동 생성된다. 청구서에는 입력·출력별 내역이 분리 표시된다. 이렇게 LangChain이 보낸 클라우드 이벤트를 Kong이 받아 토큰 사용량을 추적하고 고객에게 청구하는 전 과정이 완성된다.

주요 인사이트

• 에이전트 코드를 수정하지 않고 LangChain 콜백만으로 계측을 얹을 수 있어, 기존 서비스에 과금 계층을 비교적 낮은 마찰로 추가할 수 있다.
• 입력과 출력 토큰을 별도 기능·별도 요율로 나누면, 실제 원가 구조(출력이 더 비쌈)를 그대로 가격에 반영할 수 있다.
• 미터 → 기능 → 요금제 → 요율표 → 고객 → 구독으로 이어지는 구성은 SaaS 요금제의 전형적 구조를 AI 사용량 과금에 그대로 옮긴 형태다.
• 토큰 집계를 애플리케이션 밖(게이트웨이/빌링 서비스)으로 분리하면, 모델을 교체해도 과금 파이프라인을 유지할 수 있다.
• 데모에서는 고객·구독을 수동으로 만들었지만, 실제 운영에서는 SDK와 API로 자동화해 온보딩을 확장할 수 있다.

자주 묻는 질문

관련 AI 소식