음성 AI 실전 구축기: 화자 분리·다국어·실시간 처리의 현실적 과제

핵심 메시지

• 음성 AI 제품에서 음성 인식 모델은 전체 스택의 한 조각일 뿐, 화자 분리·이름/역할 식별·후처리가 제품 경험을 좌우한다.
• 많은 기업이 통화가 끝난 직후 빠르게 처리하는 '준실시간(near-time)' 방식을 택하며, 완전한 실시간 스트리밍은 비용 대비 이득을 따져 신중하게 도입한다.
• 혼합 언어 대화는 디코더에 LLM을 넣어 문맥으로 표기를 보정하는 최신 모델로 개선되고 있다.
• 소음이나 오인식은 자막 아래 단계가 아니라 그 위 단계(LLM 요약·노트)에서 핵심 의미를 복원하는 방식으로 다룬다.

쉽게 이해하기

어셈블리AI의 라이언이 진행한 이 패널에는 음성 AI를 실제 제품에 녹여 쓰고 있는 세 회사가 참여했다. 코루프(코둡)는 고객 인터뷰 같은 정성 데이터를 받아써서 분석해 의사결정에 필요한 인사이트를 뽑고, 엣지티어는 대량의 콜센터 대화를 처리해 고객 마찰과 상담 품질 문제를 찾아내는 대화 인텔리전스 플랫폼이며, 그래놀라는 회의 내용을 받아써서 노트로 만들어 준다.

패널은 공통적으로 '모델은 한 조각일 뿐'이라고 강조했다. 음성을 텍스트로 바꾸는 인식 모델 자체는 출발점이고, 그 위에 화자를 구분하고 누가 무슨 말을 했는지 정확히 귀속시키며, 도메인 용어를 보정하는 작업이 제품의 신뢰도를 만든다고 입을 모았다. 코루프는 인터뷰의 진행자와 참가자 역할을 자동으로 식별하고, 제약 같은 전문 분야에서는 음성학적 유사성을 근거로 잘못 인식된 용어를 교정한다고 설명했다.

실시간 처리에 대해서는 신중한 태도가 두드러졌다. 엣지티어는 통화가 끝나면 바로 전사본을 받아와 빠르게 처리하는 방식을 쓰는데, 레거시 통화 시스템과의 연동이 까다롭고 실시간 스트리밍으로 얻는 이득이 충분치 않아 '준실시간'으로 운영한다고 밝혔다. 다만 최근 30분간의 통화를 지난 30일의 같은 시간대와 비교해 이상 징후(예: 평소와 다른 결제 문제 급증)를 탐지하는 알림에는 빠른 전사가 필수라고 했다.

혼합 언어와 소음은 여전한 난제로 꼽혔다. 전통적인 음성 인식 모델은 한 문장을 하나의 언어로 예측하려다 엉뚱한 결과를 내지만, 디코더에 LLM을 넣은 신형 모델은 문맥을 활용해 '스팽글리시'나 퀘벡 프랑스어 같은 사례도 더 정확히 처리한다고 어셈블리AI 측은 전했다. 그래놀라는 전사본 위에 LLM이 만든 노트가 실제로 사용자가 보는 결과물이라, LLM이 사소한 오인식을 메워 핵심 의미를 살려준다고 덧붙였다.

주요 인사이트

• 제품 차별화는 모델 정확도 자체보다 화자 귀속, 역할 식별, 도메인 용어 보정 같은 '모델 주변의 스택'에서 나온다.
• 콜센터처럼 하루 수만 건의 대화를 다루는 환경에서는 사람이 다 읽을 수 없으므로, 자동 전사와 이상 탐지 알림이 핵심 가치가 된다.
• 마이크 오디오와 시스템 오디오를 분리해 두 채널로 받으면 누가 말했는지 더 확실히 구분할 수 있다.
• 오디오를 보관하지 않고 전사본만 남기는 제품은 사후에 오류를 되짚기 어려우므로, 표기 정확도와 LLM 후처리가 더 중요해진다.

자주 묻는 질문

관련 AI 소식