AssemblyAI 에이전트 컨텍스트 캐리오버: 라이브킷 음성 AI 받아쓰기 정확도

핵심 메시지

• AssemblyAI가 라이브킷(LiveKit)에서 ‘에이전트 컨텍스트 이어받기(agent context carryover)’ 기능을 공개했다.
• Universal 3.5 Pro 실시간 모델에 대화 맥락을 자동으로 넣어, 고유명사와 핵심어 받아쓰기 정확도를 끌어올린다.
• 기존에는 핵심어를 직접 넣거나 직전 발화를 전달해야 했지만, 이제 파라미터 하나만 켜면 플러그인이 알아서 처리한다.
• 레스토랑 주문 시연에서 낯선 메뉴 이름까지 정확히 받아써, 맥락 전달의 효과를 보여줬다.
• AssemblyAI는 이런 ‘드래그 앤 드롭’식 맥락 이어받기를 제공하는 유일한 STT 공급자라고 밝혔다.

쉽게 이해하기

AssemblyAI는 음성 에이전트 개발 플랫폼 라이브킷에서 ‘에이전트 컨텍스트 이어받기’ 기능을 공개했다. 음성 에이전트를 만들어 본 사람이라면, 에이전트가 지금 무엇을 묻고 있는지에 대한 맥락을 모델에 알려주면 받아쓰기 정확도가 올라가지 않을까 생각해 봤을 것이다. 이 기능이 바로 그 맥락을 자동으로 넘겨준다.

Universal 3.5 Pro 실시간 모델에는 대화의 맥락을 지정하는 ‘agent context’ 파라미터가 있다. 라이브킷에서는 이 맥락을 플러그인이 자동으로 모델에 주입하므로, 개발자가 별도의 배선 작업을 할 필요가 없다. 핵심어 목록을 만들거나 에이전트의 직전 메시지를 따로 보내지 않아도, ‘agent context carryover’ 파라미터 하나만 켜면 나머지는 플러그인이 처리한다.

시연에서는 라이브킷 퀵스타트와 예제 스타터 키트로 파이썬 프로젝트를 띄우고, 코딩 에이전트(클로드 코드)에게 AssemblyAI 플러그인을 설치하도록 지시했다. Universal 3.5 Pro를 음성-텍스트 변환에 쓰고 컨텍스트 이어받기를 켠 뒤, API 키를 넣고 에이전트를 실행하자 곧바로 동작했다. 이어 이 에이전트를 가상의 레스토랑 전화 주문 시스템으로 설정했다.

주문 대화에서는 ‘에스카르고’, ‘하차푸리’, ‘유즈 콤부차’, ‘크루아상 아망’ 같은 발음이 까다로운 메뉴 이름이 등장했다. 발표자는 메뉴 이름을 여러 번 어긋나게 발음했지만, Universal 3.5 Pro 실시간 모델은 맥락 이어받기 덕분에 모든 항목을 정확히 받아썼다. 별도의 핵심어 프롬프트나 추가 설정 없이도 고유명사 정확도가 향상된다는 점을 보여준 것이다.

주요 인사이트

• 음성 에이전트에서 받아쓰기 오류는 대개 고유명사와 도메인 특화 핵심어에서 발생하는데, 대화 맥락을 넘겨주면 이 부분이 크게 개선된다.
• 핵심어 관리·직전 발화 전달 같은 수작업 ‘배선’을 플러그인이 대신하므로, 개발자는 파라미터 하나만 켜면 된다.
• 코딩 에이전트를 활용하면 라이브킷 음성 에이전트 프로젝트를 빠르게 구성하고 STT 공급자를 손쉽게 교체할 수 있다.
• AssemblyAI는 이런 방식의 맥락 이어받기를 제공하는 유일한 STT 공급자라고 주장하며, 정확도 향상을 차별점으로 내세운다.

자주 묻는 질문

관련 AI 소식