음성 AI 에이전트 구축 실전 노하우 — 지연시간, 평가, 폴백 설계 총정리

핵심 메시지

• 두 회사 모두 음성인식·언어모델·음성합성을 분리한 '캐스케이딩' 구조를 쓴다. 각 단계를 따로 최적화하고 새 모델로 갈아끼우기 쉽기 때문이다.
• 응답 지연시간의 기준선은 1~1.5초다. 1초보다 빠르면 사용자가 생각 중일 때 끼어드는 느낌이 들어 오히려 불편해진다.
• 음성인식은 단어 오류율로, 언어모델은 어려운 상황 샘플과 다른 모델의 심사로 평가하지만, 음성합성 품질은 결국 사람이 듣고 판단하는 영역으로 남는다.
• 가장 나쁜 실패는 통화 도중 스택의 한 부분이 멈추는 것이다. 병렬 실행 대신 이상 징후를 감지해 다른 공급자로 즉시 전환하는 폴백 구조가 쓰인다.
• 같은 질문을 반복하면 통화 만족도가 급격히 떨어지기 때문에, 대화에서 정보를 뽑아 저장해 두는 별도의 맥락 저장소가 핵심 설계 과제로 떠올랐다.

쉽게 이해하기

패널에는 음성 에이전트를 누구나 만들 수 있게 해 주는 플랫폼 회사의 엔지니어와, 부동산 관리 분야에 특화된 음성 서비스 회사의 최고기술책임자가 나왔다. 부동산 관리는 전화 응대 비중이 매우 큰 산업이라, 반복되는 문의와 업무 흐름을 대신 처리해 담당자가 늘 전화기를 붙들고 있어야 하는 부담을 덜어 준다는 설명이다.

아키텍처 이야기가 먼저 나왔다. 한쪽은 자사 에이전트의 약 99%가 음성인식·언어모델·음성합성을 각각 분리한 캐스케이딩 구조라고 밝혔다. 부분마다 따로 설정하고 최적화할 수 있어 고객에게 가장 많은 선택지를 줄 수 있다는 이유다. 음성을 곧바로 음성으로 처리하는 통합 모델도 일부 쓰지만 아직 실험적 단계로 본다. 다른 한쪽은 음성 인프라가 회사의 핵심 자산이라면 직접 분리된 파이프라인을 구축하는 편이 낫다고 했다. 새 모델이 나올 때마다 벤치마크로 시험하고 다음 날 바로 반영할 수 있는 유연성이 생기기 때문이다.

지연시간을 다루는 관점도 구체적이다. 응답까지 1~1.5초가 일종의 황금 구간이며, 그 예산 안에서 정확도와 추론 반복 횟수를 조절하면 된다는 것이다. 흥미롭게도 1초보다 빠른 응답은 사용자가 생각에 잠겨 있을 때 에이전트가 끼어드는 셈이 되어 오히려 거슬린다고 한다. 다른 한쪽은 정확도의 빈틈은 프롬프트나 설계로 어느 정도 메울 수 있다고 보고 모든 구간에서 지연시간을 최대한 낮추는 쪽을 택했다. 음성합성은 첫 토큰만 나오면 바로 스트리밍할 수 있어 병목이 아니고, 음성인식도 중간값 기준 0.5~0.7초 수준이라 여유가 있다는 설명이다.

평가는 층으로 쌓인다. 음성인식은 새 모델이 나올 때마다 전체 단어 오류율을 자동으로 재는 파이프라인을 돌리되, 숫자를 틀리는 것이 일반 단어를 틀리는 것보다 훨씬 치명적이라 그 이상을 보려 한다. 언어모델은 그동안 모아 둔 까다로운 상황 표본에 대해 다른 모델이 심사하게 한다. 음성합성은 주관적이라 숫자를 붙이기 어려워 결국 사람이 듣고 판단하는 방식으로 남는다. 대화가 자연스러운지를 보는 차례 전환 역시 상당 부분 감각에 의존하지만, 사람 말을 끊지 않기, 사용자가 말을 시작하면 끼어들기로 처리하기, 말버릇 같은 군더더기 표현은 끼어들기로 세지 않기 같은 규칙으로 다듬는다.

프로덕션으로 넘어가는 문턱에서 배운 것들도 공유됐다. 조용한 노트북 앞에서의 데모와 달리 실제 통화에는 잡음과 불안정한 회선이 끼어든다. 한쪽은 좋은 엔지니어링 관행이 큰 힘을 발휘한다며, 배포 전 측정과 정량 지표에 근거한 모델 비교를 강조하면서도 때로는 실제 환경에서 시험할 수밖에 없다고 인정했다. 그러면서 그렇게 얻은 교훈이야말로 경쟁 우위이며 제품에 다시 반영돼야 한다고 덧붙였다. 다른 한쪽은 공급자가 멈출 때를 대비해 모든 구간에 대체 경로를 두고, 비용 때문에 병렬로 돌리는 대신 각 공급자의 API를 감시하다 이상이 보이면 트래픽을 돌리는 방식을 쓴다고 밝혔다.

주요 인사이트

• 빠를수록 좋다는 통념이 음성에서는 깨진다. 1초 미만의 응답은 사용자가 아직 생각 중일 때 말을 얹는 결과가 되어 불쾌감을 준다는 관찰은 지연시간을 '최소화 대상'이 아니라 '예산'으로 다뤄야 하는 이유를 보여 준다.
• 자연스러움을 위해 넣은 장치가 역효과를 낸 사례가 인상적이다. 지연을 감추려 타자 치는 소리를 넣었더니 초기 반응은 좋았지만, 결국 사람인 척 속인다는 반발을 샀다고 한다.
• 이미 답한 정보를 다시 묻는 통화는 부정적 반응이 압도적이라는 자체 관찰이, 맥락 저장소나 대화를 지켜보며 고객 프로필을 채우는 별도 프로세스 같은 설계로 이어졌다.
• 비용을 줄이는 가장 현실적인 방법으로 추론 단계를 거의 끄는 선택이 제시됐다. 최근 언어모델 비용이 크게 늘어난 원인이 추론 토큰이라는 진단과 짝을 이룬다.
• 통합 음성 모델이 캐스케이딩 구조를 대체할지에 대해서는 둘 다 신중했다. 세 단계를 모두 잘하는 공급자를 아직 못 봤고, 통합 모델을 택하면 다음 모델이 나올 때까지 그 공급자에 묶인다는 위험이 있다는 것이다.

자주 묻는 질문

관련 AI 소식