어셈블리AI 싱크 API - 300밀리초 음성인식과 대화 맥락 기반 자동 서식 지원

핵심 메시지

• 싱크 API는 실시간 API와 사전 녹음 API의 중간을 겨냥한 하이브리드 방식으로, 유니버설 3.5 프로와 함께 공개됐다.
• 80밀리초에서 120초 사이의 오디오를 보내면 300밀리초 안팎에 전사 결과가 돌아온다.
• 폴링이나 세션 관리가 필요 없는 단순한 REST 방식이어서 개발자가 전체 흐름을 직접 통제하기 쉽다.
• 대화 맥락을 함께 넘기면 같은 발화라도 날짜나 카드 유효기간 같은 형식에 맞춰 정리된 결과를 받을 수 있다.
• 음성 에이전트에서 서식 오류는 같은 질문을 반복하게 만들어 사용자 경험을 무너뜨리는 결정적 요인으로 지목됐다.

쉽게 이해하기

어셈블리AI가 새 음성인식 모델 유니버설 3.5 프로와 함께 싱크 API를 선보였다. 이 API의 위치는 이름 그대로 중간이다. 스트리밍으로 계속 주고받는 실시간 API와, 파일을 통째로 올리고 결과를 기다리는 사전 녹음 API 사이를 메운다. 회사는 푸시투토크 방식의 입력, 자동응답 전화 라우팅, 직접 만든 음성 에이전트처럼 개발자가 전체 처리 흐름을 끝에서 끝까지 통제하고 싶은 상황을 주요 대상으로 꼽았다.

동작 방식은 단순하다. 80밀리초에서 120초 사이 길이의 오디오를 HTTP로 보내면 전사 결과가 즉시 돌아온다. 응답까지는 300밀리초 안팎이 걸린다. 별도의 폴링도, 세션 관리도 필요 없는 REST API라는 점을 강조했다. 버튼에서 손을 떼는 순간 처리가 시작돼 곧바로 결과가 반환되는 구조다. 프롬프트, 언어 지정, 핵심 용어 지정, 대화 맥락 전달이 기본으로 지원된다.

시연은 고객 상담 통화를 전사하는 상황을 가정해 대화 맥락 기능에 초점을 맞췄다. 에이전트가 사용자에게 무엇을 묻고 있는지를 맥락으로 함께 넘기면, 돌아오는 전사 결과의 형태가 달라진다. '생년월일이 어떻게 되시나요'라는 맥락을 준 상태에서 숫자를 읽자 모델은 이를 날짜 형식으로 정리해 반환했고, 응답 시간은 360밀리초로 표시됐다.

두 번째 예시는 카드 유효기간이었다. 사람마다 읽는 방식이 달라 어떤 사람은 월과 연도를 풀어 말하고 어떤 사람은 숫자만 짧게 말한다. 발표자가 숫자를 축약해 말하자 모델은 이를 유효기간 형식에 맞춰 정리했고, 이때 처리 시간은 263밀리초였다. 세 번째로 주소를 물어보는 맥락에서는 도로명과 도시, 우편번호가 하나의 주소로 묶여 서식이 적용된 채 반환됐다.

발표자는 이런 서식 처리가 음성 에이전트의 성패를 가른다고 설명했다. 형식이 어긋난 값이 돌아오면 에이전트는 같은 질문을 반복하게 되고, 사용자는 금세 지친다. 결국 전사 정확도만이 아니라 그 결과가 곧바로 쓸 수 있는 형태인지가 중요하다는 이야기다.

주요 인사이트

• 음성인식 API의 경쟁 축이 정확도에서 지연 시간과 통합 편의성으로 옮겨가고 있음을 보여준다. 300밀리초라는 수치는 사람이 대화 중 어색함을 느끼지 않는 응답 속도를 겨냥한 것이다.
• 대화 맥락을 입력으로 받는다는 것은 전사 단계에서 이미 후처리 일부를 흡수한다는 뜻이다. 개발자가 별도로 날짜·주소 파싱 규칙을 짜던 작업을 모델 쪽으로 옮긴다.
• 폴링과 세션 관리를 없앤 단순 REST 설계는 실시간 스트리밍 연결을 유지하는 부담을 피하면서도 짧은 발화를 빠르게 처리하려는 절충안이다.
• 시연에서 측정된 값은 360밀리초와 263밀리초로 엇갈렸다. 300밀리초 이하라는 설명은 목표치에 가깝고 실제 응답 시간은 상황에 따라 변동한다고 보는 편이 안전하다.
• 푸시투토크와 자동응답 전화 라우팅을 대표 사례로 든 점에서, 상담 센터처럼 짧은 발화가 반복되는 업무 영역을 우선 공략하려는 의도가 읽힌다.

자주 묻는 질문

관련 AI 소식