실시간 음성 AI 기술 정리: CPU에서 도는 TTS와 실시간 음성 번역, 그라디움 데모

핵심 메시지

• 지금까지 음성 AI는 오디오북이나 기사 낭독처럼 미리 만들어 여러 사람이 나눠 쓰는 오프라인 콘텐츠가 중심이었지만, 게임·라이브 방송·로봇처럼 한 사람만을 위해 즉석에서 만들고 버리는 용도로 무게중심이 옮겨가고 있다.
• 소비 방식이 바뀌면 경제성 기준도 바뀐다. 여러 사람이 나눠 듣는 오디오는 생성 비용을 분산할 수 있지만, 1인용 음성은 그 자리에서 빠르고 싸게 만들어져야 한다.
• 1억 파라미터급 음성 합성 모델을 GPU 없이 CPU에서 돌리는 시연이 공개됐다. 사용량 기반 API 과금이 곤란한 패키지 게임 같은 영역에서 온디바이스 실행이 현실적인 선택지가 된다.
• 음성 클로닝은 오락용에 그치지 않는다. 발병 전 녹음이 남아 있는 루게릭병(ALS) 환자의 목소리를 되살리는 작업이 실제로 진행되고 있다.
• 음성 에이전트의 핵심은 목소리 자체가 아니라 대화 흐름 관리다. 도구 호출이 오래 걸릴 때 침묵하지 않고 말을 이어가다 결과가 나오면 자연스럽게 끼워 넣는 구조가 필요하다.

쉽게 이해하기

매트 터크의 팟캐스트에 나온 그라디움(Gradium) 최고경영자 닐 제기두르는 자사를 음성 제품 회사가 아니라 음성 기술 계층을 만드는 회사로 규정했다. 특정 산업용 음성 에이전트를 만드는 대신 음성 인식과 합성, 번역 모델과 이를 대규모로 운영할 인프라를 제공하고, 그 위에서 다른 회사들이 제품을 만들게 한다는 것이다. 이 회사는 2년 전 만들어진 비영리 연구소 카이타이 랩스(Kyutai Labs)에서 갈라져 나온 상업 법인으로, 팀은 딥마인드와 메타, 퀀트 금융 출신 엔지니어·연구자 중심이라고 소개됐다.

그가 짚은 변화의 핵심은 음성 콘텐츠의 소비 방식이다. 기존 음성 AI는 뉴스 기사 낭독이나 오디오북처럼 한 번 만들어 여러 사람이 듣는 오프라인 콘텐츠에 맞춰져 있었다. 반면 게임 속 대화형 NPC, 라이브 방송 더빙, 로봇과의 대화는 개인마다 다른 음성이 즉석에서 생성됐다가 곧바로 버려진다. 그는 오디오북이라면 생성이 느리고 비싸도 여러 청취자에게 비용을 분산할 수 있지만, 1인용 음성은 그 구조가 성립하지 않기 때문에 속도와 단가가 곧 기술 요구사항이 된다고 설명했다.

발표에서 가장 구체적인 사례는 게임 해설이었다. 축구 게임류의 해설은 지금도 미리 녹음한 음성 파일을 상황에 맞춰 이어 붙이는 방식이다. 그라디움이 대형 모바일 게임사와 진행 중인 작업은 대규모 언어모델이 실시간 게임 상황을 읽어 두 명의 가상 해설자 대본을 쓰고, 실제 해설자의 10초짜리 음성 샘플만으로 그 대본을 해설자 특유의 톤으로 읽어내게 하는 것이다. 시연에서는 모바일 게임 대전 상황을 중계하는 음성이 그 자리에서 만들어졌다.

같은 음성 복제 기술은 의료 쪽으로도 이어진다. 발표자는 루게릭병으로 말할 수 없게 된 사람의 목소리를 복원하는 작업을 소개하며, 발병 전 팟캐스트 출연 녹음이 많이 남아 있던 프랑스 창업가 올리비에 고이의 사례를 들었다. 녹음 데이터가 충분할수록 복원 충실도가 올라간다는 설명이다.

실행 환경 이야기도 나왔다. 공개된 포켓 TTS(Pocket TTS)는 1억 파라미터 규모로 GPU가 아닌 CPU에서 동작하며 음성 복제까지 지원한다. 그는 게임처럼 한 번 값을 치르고 오래 쓰는 제품에서 사용량 기반 API 과금은 구조적으로 맞지 않는다고 지적했다. 많이 플레이할수록 개발사 비용이 늘어나 오히려 벌을 받는 셈이기 때문이다. 실제로 어떤 게임에는 이미 생성형 NPC 대화 모드가 올라와 있는데, 언어모델 부분은 여전히 API를 쓰지만 음성 생성만큼은 로컬 CPU에서 돌아간다.

마지막 축은 실시간 번역이다. 1년 전 공개된 히비키(Hibiki)는 아이폰에서 로컬로 동작하는 실시간 음성 대 음성 번역 시스템으로, 발표에서는 비행기 모드로 인터넷을 끊은 채 프랑스어 발화를 영어로 옮기는 장면이 시연됐다. 이틀 뒤 공개 예정이라고 밝힌 히비키 제로(Hibiki Zero)는 정렬된 학습 데이터 없이 학습했다는 뜻에서 붙은 이름으로, 다국어를 지원하고 음성 복제 품질을 높였으며 스포츠 중계처럼 평범하지 않은 말투에도 작동한다고 설명됐다.

주요 인사이트

• 음성 AI의 병목이 품질에서 지연시간과 단가로 옮겨가고 있다. 스트리밍 음성 인식과 스트리밍 합성을 붙여 언어모델이 문장을 다 쓰기 전에 단어 단위로 음성을 만들기 시작하는 것도 결국 체감 지연을 줄이기 위한 설계다.
• CPU에서 도는 소형 음성 모델은 성능 경쟁이 아니라 과금 구조의 문제를 푼다. 사용량에 비례해 돈이 나가는 API가 맞지 않는 제품군에서는 모델을 작게 만들어 기기 안으로 내리는 쪽이 합리적이다.
• 음성 에이전트의 완성도는 목소리보다 대기 시간 처리에서 갈린다. 도구 실행이 끝날 때까지 침묵하는 대신 대화를 이어가다 결과를 흐름에 끼워 넣는 방식은, 텍스트 챗봇에서는 문제가 안 되던 지점이 음성에서는 곧바로 어색함으로 드러난다는 점을 보여준다.
• 10초 남짓한 샘플로 특정 화자의 말투까지 재현할 수 있다는 것은 활용과 위험이 동시에 커진다는 뜻이다. 발표는 환자 목소리 복원 같은 쓰임을 강조했지만, 같은 기술이 개인 음성의 도용 가능성도 함께 넓힌다.
• 발표자가 유튜브의 자동 더빙이 원래 목소리에 충실하지 않다고 지적한 대목은, 실시간 더빙이 아직 기술적으로 채워지지 않은 영역임을 보여준다.

자주 묻는 질문

관련 AI 소식