Kong AI 게이트웨이: 기업 AI의 보안·토큰 비용·시맨틱 라우팅·거버넌스 관리

핵심 메시지

• 모든 AI 서비스는 뒤에서 API로 제어되며, Kong은 이 API 관문에 AI 트래픽 관리를 얹은 'AI 게이트웨이'를 제공한다고 소개한다.
• 기업이 AI를 도입할 때의 핵심 요구사항으로 보안·기밀정보 보호, 토큰 비용 통제, MCP 개발·인증 편의, 거버넌스를 든다.
• 게이트웨이는 사용자 인증·접근 확인 → 요청 제한·캐싱·가드레일·프롬프트 정리 → 모델 호출 → 관측(observability)의 흐름을 검증된 플러그인으로 구성한다.
• 세 가지 데모로 에이전트 워크플로 관측, 의미 기반(semantic) 모델 로드밸런싱, 시맨틱 프롬프트 차단을 시연한다.
• OpenTelemetry·Jaeger·Grafana와 Kong Connect 대시보드로 어느 에이전트가 어떤 모델을 호출하고 토큰·비용이 얼마인지 추적한다.

쉽게 이해하기

영상은 Kong이 한국 사용자·기업을 대상으로 자사 AI 게이트웨이를 소개하고 데모로 동작을 확인하는 자리다. 출발점은 폭증하는 API와 AI 도입을 어떻게 안전하고 효율적으로 관리하느냐는 질문이다. 웹·모바일·클라우드 시대를 지나 이제 서비스들이 API로 연결되고 API를 외부에 열어 수익을 내는데, AI 역시 그 API 연결점 위에 있다는 것이다.

발표자는 'API 없이는 AI도 없다'고 말한다. 우리에게 익숙한 챗 기반 AI도 뒤에서는 API로 제어되며, 무료·유료 등급별 제한이나 프롬프트 통제가 모두 API를 통해 이뤄진다. 기업이 AI를 쓰려면 보안과 기밀 보호, 토큰 사용 제한과 응답 캐싱 같은 비용 최적화, MCP 개발·인증 편의, 그리고 조직 정책(거버넌스)이 필요하다고 정리한다.

Kong AI 게이트웨이는 AI 도구와 이를 쓰는 앱 사이의 '단일 창구'로서 다대다 연결을 한곳에서 관리한다. API 키 관리, 로컬 LLM 연결, 토큰 사용량 추적, 에이전트별 다중 모델 호출, 관측 가능성을 하나의 플랫폼에서 제공한다. 요청이 들어오면 사용자와 권한을 먼저 확인하고, 요청 제한·캐싱·가드레일·프롬프트 정리를 거쳐 모델을 호출하며, 이 전 과정을 관측할 수 있게 한다.

첫 번째 데모는 에이전트 워크플로 관측이다. 두 개의 서브 에이전트(지원 에이전트·성공 에이전트)가 각각 OpenAI와 Gemini를 호출하고, MCP 서버가 백엔드에 API 요청을 보내 티켓 상태를 조율한다. LangGraph 기반 오케스트레이터가 OpenAI를 지시하며, 게이트웨이 화면에서 오케스트레이터가 약 4,500 토큰, Gemini를 쓰는 에이전트가 1만1천 토큰 이상을 쓰는 것을 확인한다. OpenTelemetry 플러그인으로 Jaeger에서 단계별 소요 시간을, Grafana와 Kong Connect 대시보드에서 모델별 호출·토큰·비용과 에이전트 간 MCP 호출 횟수를 본다.

두 번째 데모는 의미 기반 로드밸런싱이다. 커서(cursor)의 자동 모델 선택처럼, 마케팅 문의는 창의적 모델로, 기술 지원 문의는 지원용 모델로 분기한다. 각 타깃 모델에 'description'으로 역할을 적어두면 프롬프트가 어느 모델로 갈지 정해지며, 프롬프트의 의미를 판별하는 임베딩 모델은 외부(OpenAI) 대신 호스트의 로컬 LLM으로도 돌릴 수 있다. 세 번째 데모인 시맨틱 프롬프트 가드는 승인 절차 같은 일반 질문은 통과시키되 사내 직원 명단 같은 기밀 요청은 즉시 차단하며, 한국어 프롬프트도 별도 번역 없이 차단 규칙이 적용된다.

주요 인사이트

• 발표의 핵심은 'AI의 병목은 모델이 아니라 연결·거버넌스'라는 관점이다. 인증·비용·정책을 개별 도구로 흩어 관리하는 대신 게이트웨이로 일원화한다.
• 토큰 비용 최적화를 캐싱과 모델 라우팅으로 접근하는 점은, 요청 성격에 따라 저렴하거나 내부 모델로 보내는 실무적 절감 전략을 보여준다.
• 관측 스택으로 OpenTelemetry·Jaeger·Grafana 같은 표준 오픈소스 도구에 붙일 수 있다고 설명해, 특정 도구 종속을 줄이는 방향을 시사한다.
• 시맨틱 프롬프트 가드가 임베딩 기반이라, 다국어 모델을 쓰면 한국어 규칙을 영어로 번역하지 않아도 되는 점을 실용적 장점으로 든다.
• '개별 숙련자의 노트북 설정을 조직 전체가 일관되게 쓰게 만드는 것'이라는 비유로 게이트웨이의 표준화 역할을 요약한다.

자주 묻는 질문

관련 AI 소식