AI 에이전트 성능 최적화: 오픈텔레메트리·클라우드 트레이스로 응답 시간 80% 단축

핵심 메시지

• 느린 AI 에이전트를 고칠 때 코드를 곧바로 읽기보다, 어떤 함수가 오래 걸리는지 먼저 측정하는 '관측성(observability)'에서 출발한다.
• 오픈텔레메트리(OpenTelemetry)는 코드 내부에서 일어나는 이벤트를 중앙 서버로 보내는 개방형 표준이며, 구글 클라우드 트레이스로 그 데이터를 시각화해 병목을 찾는다.
• 관측성은 계측(instrumentation), 즉 실행 시간을 기록하는 코드 조각을 함수에 심는 작업을 전제로 한다.
• 축구 앱의 음성 합성이 한 구간씩 순차 실행되던 것을 병렬 실행으로 바꿔 1분 30초대 응답을 약 20초대로, 대략 80% 단축했다.
• 완성된 애플리케이션은 Dockerfile과 클라우드 빌드를 통해 클라우드 런(Cloud Run)에 배포했다.

쉽게 이해하기

이 영상은 구글 클라우드 테크의 'AI 에이전트 클리닉'으로, 진행자와 개발자가 실제로 만든 앱의 문제를 함께 진단하는 형식이다. 게스트 새미는 축구 팬을 위한 앱 '플레이백 IQ'를 소개하는데, 경기 전 브리핑을 팟캐스트 대본과 해설가 톤의 음성으로 만들어 주고, 경기 후에는 초 단위 이벤트 데이터를 바탕으로 전술 분석까지 제공한다. 이 앱은 구글 검색 그라운딩과 제미나이 SDK, 음성 합성(TTS) 등 여러 도구를 하나로 엮은 사실상 여러 개의 애플리케이션이다.

문제는 성능이었다. 브리핑 하나를 생성하는 데 60~120초가 걸려, 정작 팬들이 기다리다 흥미를 잃는다는 것이다. 진행자는 곧바로 코드를 뒤지는 대신 관측성에서 시작하자고 제안한다. 관측성을 확보하려면 계측이 필요한데, 이는 어떤 함수가 얼마나 오래 걸리는지 알 수 있도록 애플리케이션에 코드 조각을 추가하는 작업이다.

두 사람은 에이전트형 IDE의 도움을 받아 대본 생성과 음성 합성 함수에 오픈텔레메트리 계측을 심는다. 트레이서를 만들고 관련 이벤트를 묶는 스팬(span)을 시작하며, 토큰 수와 비용 같은 LLM 요청 메타데이터까지 함께 수집한다. 이렇게 모은 원격 측정값은 구글 클라우드 트레이스로 전송된다.

클라우드 트레이스에서 한 번의 실행이 1분 36초 걸린 것이 드러났고, 그 안에서 대본 생성과 음성 합성(commentary.tts.send)이 구간을 하나씩 순차 처리하는 폭포수 형태로 실행되고 있었다. 대본은 이미 완성돼 있으므로 음성 합성 구간들을 동시에 처리하면 된다는 판단으로 병렬화를 적용했고, 가장 긴 구간 기준 약 23초로 줄어 전체적으로 80% 빨라졌다.

마지막으로 앱을 친구들과 공유할 수 있도록 Dockerfile을 바탕으로 클라우드 빌드가 이미지를 만들고 클라우드 런에 배포했다. 남은 UI 버그까지 완벽히 잡지는 못했지만, 계측·병렬화·배포라는 핵심 개선을 마무리하며 '코드를 짐작으로 고치기 전에 측정부터 하라'는 교훈을 보여 준다.

주요 인사이트

• 성능 문제를 만나면 코드를 추측으로 수정하기 전에 계측과 트레이싱으로 '어디가 느린지'를 먼저 사실로 확인하는 편이 빠르다.
• 스팬은 서로 관련된 이벤트의 묶음이며, 여기에 토큰·비용 같은 속성을 붙이면 성능뿐 아니라 운영 비용까지 함께 관찰할 수 있다.
• LLM 대본이 이미 확정된 상태라면 음성 합성처럼 서로 독립적인 작업은 순차가 아니라 병렬로 돌려 큰 폭의 지연 감소를 얻을 수 있다.
• 오픈텔레메트리는 특정 벤더에 묶이지 않는 개방형 표준이므로, 수집한 데이터를 클라우드 트레이스 같은 백엔드로 자유롭게 보낼 수 있다.
• Dockerfile과 클라우드 빌드, 클라우드 런을 이용하면 최적화한 에이전트 앱을 별도 인프라 관리 없이 곧바로 서비스로 띄울 수 있다.

자주 묻는 질문

관련 AI 소식