음성 인식 API 지연 시간 줄이기: 폴링을 걷어낸 단일 요청 방식과 연결 예열의 원리

핵심 메시지

• 기존 비동기 방식은 음성 업로드, 변환 요청, 상태 확인 반복, 결과 수신까지 여러 단계를 거쳐야 해 구조 자체에 대기 시간이 끼어 있다.
• 폴링은 몇 초 간격으로 상태를 묻기 때문에, 서버에서 변환이 끝나도 다음 확인 요청 전까지는 완료 사실을 알 수 없어 불필요한 지연이 생긴다.
• 동기식 방식은 이 모든 단계를 하나의 요청으로 합쳐, 음성 데이터를 보내면 같은 요청에서 텍스트를 돌려받는다.
• 녹음이 시작되는 순간 미리 요청을 보내 연결을 데워두면 DNS 조회와 각종 핸드셰이크가 녹음 중에 끝나 지연 경로에서 빠진다.
• 이 방식은 최대 120초 분량의 짧은 음성에 적합하며, 음성 받아쓰기나 회의록, 고객 응대처럼 즉시 결과가 필요한 상황을 겨냥한다.

쉽게 이해하기

음성을 텍스트로 바꾸는 일은 사용자 입장에서 보면 단순합니다. 말한 내용을 보내면 글자가 돌아오면 됩니다. 그런데 실제 개발에서는 그렇지 않았습니다. 발표자는 4년 전 회사에 합류했을 때 변환 결과를 받기 위해 상태를 계속 확인해야 하는 구조가 가장 낯설었다고 말합니다. 변환은 요청 한 번이면 되어야 한다고 생각했지만, 당시 모델은 정확도를 지키면서 그렇게 빠르게 처리할 만큼 발전하지 않았습니다.

기존 비동기 방식의 흐름을 따라가 보면 단계가 상당히 많습니다. 음성을 올리고 주소를 받은 뒤 변환을 요청하고, 상태를 확인해 아직 처리 중이면 몇 초마다 다시 물어보기를 반복하다가 완료로 바뀌면 텍스트를 가져옵니다. 여기서 놓치기 쉬운 부분은, 서버에서 변환이 끝났더라도 다음 확인 요청을 보내기 전까지는 그 사실을 알 수 없다는 점입니다. 즉 구조 안에 쓸모없이 흘려보내는 시간이 들어 있습니다.

새로 나온 동기식 방식은 이 여러 요청을 하나로 접습니다. 음성 데이터를 변환 주소로 바로 보내면 응답에 텍스트가 담겨 돌아옵니다. 업로드도, 대기열도, 상태 확인 반복도 없습니다. 여기에 한 가지 기법이 더해집니다. 사용자가 녹음을 시작하는 순간 미리 요청을 띄워 연결을 만들어 두는 것입니다. 그러면 주소 조회와 연결 수립 절차가 녹음이 진행되는 동안 끝나므로, 녹음이 멈춘 시점에는 이미 준비된 통로로 데이터만 보내면 됩니다.

발표자는 직접 만든 간단한 데모로 효과를 보여 줍니다. 약 15초 분량을 녹음했을 때 응답까지 1,900밀리초가 걸렸는데, 본인이 서버에서 지리적으로 가장 먼 축에 속하는 싱가포르에서 접속해 유럽 지역으로 연결된 상황이라는 단서를 함께 밝힙니다. 응답 내역을 뜯어보면 흥미로운 것은 없는 항목입니다. 연결 수립 시간이 아예 잡히지 않는데, 이야기하는 동안 이미 데워졌기 때문입니다. 미국이나 유럽에서 실행하면 중앙값 기준 약 134밀리초까지 내려간다고 설명합니다.

다만 이 방식이 모든 상황을 대체하지는 않습니다. 발표자는 세 가지 방식의 자리를 분명히 나눕니다. 비동기는 맡겨두고 잊는 대량 처리에, 스트리밍은 끊이지 않고 이어지는 실시간 음성에 적합합니다. 동기식은 그 사이에 놓인 선택지로, 최대 120초 분량의 짧고 완결된 음성 조각을 즉시 텍스트로 바꿔야 할 때를 위한 것입니다. 음성 받아쓰기 앱과 음성 에이전트, 실시간 회의 기록, 즉시 검색 색인, 고객 응대가 예로 제시됩니다.

주요 인사이트

• 지연 시간은 모델 속도만의 문제가 아니다. 요청을 주고받는 구조 자체에 낭비가 숨어 있으면 모델이 아무리 빨라져도 사용자가 체감하는 속도는 그만큼 오르지 않는다.
• 폴링의 비용은 서버 처리 시간이 아니라 '끝난 줄 모르는 시간'이다. 완료 시점과 인지 시점 사이의 간격이 곧 사용자가 기다리는 시간이 된다.
• 연결을 미리 데워두는 발상은 작업을 빠르게 만드는 대신 필요한 준비를 사용자가 기다리지 않는 구간으로 옮기는 전략이다. 사용자가 말하는 동안은 어차피 비어 있는 시간이다.
• 좋은 API 설계는 모든 경우를 하나로 처리하려 들지 않는다. 대량 처리, 실시간 스트리밍, 짧은 단발 요청을 각각 다른 방식으로 나눈 점이 이 발표의 핵심 구도다.
• 성능 수치를 말할 때 측정 조건을 함께 밝히는 태도는 신뢰를 만든다. 가장 불리한 위치에서 잰 값과 일반적인 조건의 값을 나란히 제시하면 독자가 스스로 판단할 수 있다.

자주 묻는 질문

관련 AI 소식