실시간 음성 AI 원리: 스트리밍 STT·TTS와 오디오 토큰화 총정리

핵심 메시지

• 음성 에이전트는 STT(음성→텍스트), LLM(추론), TTS(텍스트→음성) 세 모듈을 텍스트로 이어 붙이는 모듈형 방식이 실무의 주류다.
• 모듈형은 각 단계에 최적 모델을 골라 쓸 수 있지만, 텍스트를 거치며 감정 같은 비언어 정보를 잃고 지연이 단계마다 쌓인다.
• 실시간성을 만드는 핵심은 '지연 스트림 모델링(DSM)'으로, 오디오와 텍스트가 80밀리초 같은 일정한 박자로 함께 나아간다.
• Whisper 같은 오프라인 모델은 30초 문맥을 다 받아야 시작하지만, 스트리밍 모델은 양방향 어텐션을 인과적 어텐션으로 바꿔 즉시 처리한다.
• TTS는 오디오를 프레임 단위 토큰으로 다루며, 코덱과 벡터 양자화·플로 매칭으로 의미와 음색을 나눠 생성한다.

쉽게 이해하기

영상은 미스트랄이 공개한 실시간 음성 모델군 Voxtral을 예로, 알렉사·시리 같던 딱딱한 상호작용이 자연스러운 실시간 대화로 옮겨가는 배경을 설명한다. 음성 시스템을 만드는 방식은 크게 두 가지로, LLM을 두 모델 사이에 끼우는 모듈형과 음성을 일급 시민으로 다뤄 텍스트 병목을 없애는 엔드투엔드 방식이 있다. 이 영상은 실무에서 널리 쓰이는 모듈형에 초점을 둔다.

모듈형 음성 에이전트는 음성을 텍스트로 옮기는 STT(ASR), 실제 추론을 담당하는 LLM, 다시 음성으로 바꾸는 TTS 세 부분이 오직 텍스트로만 연결된다. 각 단계에 용도에 맞는 최적 모델을 자유롭게 조합할 수 있고 디버깅과 규제 대응에 유리하지만, 텍스트를 거치며 좌절·비꼼·망설임 같은 비언어 정보가 사라지고 세 모델을 이어 붙이는 만큼 지연이 누적된다.

실시간을 가능케 하는 열쇠는 '지연 스트림 모델링(DSM)'이다. 오디오와 텍스트 스트림이 80밀리초 같은 일정한 '심장박동'으로 나아가며, 매 박동마다 오디오 한 프레임을 처리하고 앞선 프레임에 해당하는 텍스트 토큰을 내보낸다. Voxtral 실시간 모델은 사용자가 80밀리초에서 2.4초 사이로 지연을 조절할 수 있고, 학습 때 배치마다 무작위 지연을 주는 방식으로 이 범위를 지원한다.

오프라인 모델의 대표인 Whisper는 2022년 공개돼 68만 시간 오디오로 학습됐고 지금도 가장 널리 쓰이지만, 30초 문맥을 다 받아야 시작하는 양방향 어텐션 때문에 실시간에 부적합하다. 현대 스트리밍 모델은 인코더의 양방향 어텐션을 인과적 어텐션으로 바꾸고, 미스트랄 3B 같은 사전학습 LLM을 디코더 자리에 붙여 음성 모델을 부트스트랩한다.

TTS 쪽에서는 파형을 직접 예측하던 2016년 웨이브넷의 느림을 넘어, 10밀리초 프레임 단위로 오디오를 '토큰'처럼 다룬다. 코덱과 벡터 양자화로 코드북을 만들고, 의미(무엇을 말하는가)와 음색·억양(어떻게 말하는가)을 분리해, 의미는 벡터 양자화로 음향은 유한 스칼라 양자화·플로 매칭으로 생성한다. 다만 중간의 LLM이 여전히 병목이라 음성 대 음성 시스템의 한계로 남는다.

주요 인사이트

• 모듈형과 엔드투엔드는 '조합 가능성·해석 가능성' 대 '비언어 정보 보존'이라는 뚜렷한 트레이드오프를 가진다.
• DSM은 알고리즘 자체가 복잡해서가 아니라, 순환 신경망에 자연스럽던 스트리밍을 트랜스포머로 옮겨 사전학습 LLM을 활용하게 했다는 점에서 가치가 크다.
• 실시간의 기준은 절대적이지 않지만 대체로 3초 안팎으로 여겨지며, 지연과 품질은 서로 맞바꾸는 관계다.
• 오디오 토큰화에서 코드북을 무작정 키우면 대부분의 항목이 쓰이지 않는 '코드북 붕괴'가 생겨, 잔차 양자화(RVQ)나 유한 스칼라 양자화(FSQ) 같은 대안을 쓴다.
• 이미지 생성에 쓰이던 플로 매칭이 음향 잠재 벡터 생성에 그대로 적용되는 등, 모달리티를 넘나드는 기법 이전이 활발하다.

자주 묻는 질문

관련 AI 소식