AssemblyAI Universal-3.5 Pro: 컨텍스트 캐리오버로 음성 인식 정확도 높이기

핵심 메시지

• AssemblyAI가 최신 음성-텍스트 모델 Universal-3.5 Pro 스트리밍을 공개했다.
• 대부분의 전사 모델은 각 순간을 따로 들어 직전 맥락이 없어, 짧은 답변을 추측으로 처리한다.
• 컨텍스트 캐리오버는 직전 발화 몇 개를 기억해 다음 입력의 맥락으로 삼아 이 문제를 자동으로 해결한다.
• 같은 "씨" 발음도 질문에 따라 C, See 등 알맞은 형태로 받아쓴다.
• 이 기능은 별도 설정 없이 기본값으로 켜져 있어 음성 에이전트에 특히 유용하다.

쉽게 이해하기

AssemblyAI가 최신 플래그십 음성-텍스트 모델인 Universal-3.5 Pro 스트리밍을 출시했다. 발표자가 가장 기대하는 기능은 컨텍스트 캐리오버다. 이 기능이 푸는 문제는 분명하다. 대부분의 전사 모델은 각 순간을 독립적으로 들어 앞에 무슨 말이 있었는지 기억하지 못한다.

그래서 누군가 "씨(C)" 같은 짧은 답을 하면 모델은 그것을 구분할 단서가 없어 그냥 추측한다. 컨텍스트 캐리오버는 직전 몇 마디를 기억해 다음에 오는 말의 맥락으로 활용함으로써 이 문제를 자동으로 바로잡는다.

발표자는 구형 모델과 직접 비교해 보인다. "스페인어 할 줄 아세요?"에 대한 답, "육로·항공·해상 중 무엇으로 오셨나요?"에 대한 답, "A·B·C 중 어느 옵션이 좋으세요?"에 대한 답에서, 모델은 각 질문을 답의 맥락으로 삼아 같은 발음을 매번 다른 형태로 받아쓴다.

이 모든 동작은 Universal-3.5 Pro 스트리밍에서 기본값으로 자동 수행된다. 발표자는 특히 음성 에이전트를 만드는 개발자라면 지금 바로 써보라고 권한다.

주요 인사이트

• 스트리밍 음성 인식의 고질적 약점은 짧고 모호한 발화다. 직전 맥락이 없으면 "씨" 같은 한 음절은 본질적으로 추측이 되기 때문이다.
• 해법은 더 큰 모델이 아니라 맥락 유지다. 직전 발화를 기억해 다음 입력의 단서로 쓰는 것만으로 동음이의 구간의 정확도를 끌어올린다.
• 기능이 기본값으로 켜져 있다는 점이 중요하다. 개발자가 별도 튜닝 없이도 음성 에이전트 품질을 바로 개선할 수 있다는 뜻이다.

자주 묻는 질문

관련 AI 소식