음성 AI 기술 정리: 캐스케이드 방식의 한계와 풀 듀플렉스 대화 모델이 바꾸는 것

핵심 메시지

• 음성은 오랫동안 머신러닝에서 인기 없는 분야였고, 그 결과 경쟁력 있는 음성 모델을 훈련할 수 있는 사람이 전 세계에 극히 적다는 것이 이 분야의 특징이자 기회가 됐다.
• 지금 시장의 주류인 캐스케이드 구조는 음성인식·텍스트 모델·음성합성 세 개를 이어 붙이는 방식이라 지연이 누적되고, 텍스트라는 병목을 지나면서 감정과 반어 같은 준언어 정보가 사라진다.
• 가장 큰 불편은 말 순서를 주고받는 방식 자체에 있다. 침묵이 몇 밀리초 이상 이어지면 끼어들기로 본다는 식의 수작업 규칙이 겹겹이 쌓여 있어, 사용자가 AI의 리듬에 맞춰 말해야 하는 상황이 벌어진다.
• 이를 없앤 것이 풀 듀플렉스로, 사용자와 AI 각각의 토큰 스트림 두 개를 동시에 모델링해 전화 통화 녹음처럼 양쪽이 언제든 말할 수 있게 만든 구조다. 이 방식에서는 지연이라는 개념 자체가 사라진다.
• 음성 모델의 품질은 수치 지표로 대체하기 어려워 사람의 귀에 의존한 블라인드 테스트로 판단하며, 좋은 목소리에 대한 취향은 사람마다 갈리기 때문에 정답 하나를 찾기보다 사용자가 원하는 목소리를 설계하게 하는 쪽이 현실적이다.

쉽게 이해하기

게스트는 음성 AI가 지금 큰 순간을 맞은 동시에 여전히 초기라고 말한다. 지연과 자연스러움, 정확도가 최근 몇 년 사이 크게 좋아졌고, 텍스트 모델이 도구를 쓰고 행동하는 에이전트로 진화하면서 음성 인터페이스가 복잡한 문제까지 처리할 수 있게 됐다는 것이다. 동시에 그는 데모의 조건을 짚는다. 음성 에이전트 시연은 대부분 조용한 방에서 전화기에 대고 말하는 장면이고, 공장 한가운데에서 여러 사람이 소음 속에 로봇에게 소리치는 상황은 전혀 해결되지 않았다는 것이다.

음성이 오래 뒤처진 이유에 대한 설명이 흥미롭다. 기초 알고리즘을 제안하더라도 컴퓨터 비전이나 자연어 응용이 붙어야 좋은 학회에 실렸고, 음성 응용이면 너무 음성스럽다는 이유로 거절당하는 분위기였다는 것이다. 정작 딥러닝의 첫 큰 성공은 이미지 분류보다 앞선 음성 인식이었는데도 그랬다. 게다가 음성은 머신러닝과 신호처리, 통신과 오디오 압축, 그리고 인간의 청각과 발성에 관한 심리음향학까지 아울러야 해서 진입 장벽이 높다.

기술적 전환의 뿌리는 오디오 압축이었다. 그는 처음에 MP3를 대체할 신경망 기반 코덱을 만들려 했고, 계산은 더 들지만 훨씬 효율적으로 압축하는 뉴럴 오디오 코덱을 화상회의용으로 개발했다. 그런데 이렇게 극도로 압축된 오디오는 거의 텍스트처럼 취급할 수 있었고, 언어 모델에 텍스트 대신 이 압축된 오디오를 다음 토큰으로 예측하게 시켰더니 일주일 만에 몇 초 음성으로 목소리를 복제하는 결과가 나왔다. 이후 음악 생성과 자동 팟캐스트로 이어지며 오디오 생성의 표준 틀이 됐다.

그가 특히 강하게 비판하는 대목은 말 순서를 주고받는 방식이다. 고양이와 개를 구별하는 규칙을 손으로 짤 수 없어서 머신러닝을 쓰는 것인데, 말할 차례를 판정하는 일만은 여전히 음성 활동 감지와 규칙 위에 규칙을 쌓는 원시적 방식에 머물러 있다는 것이다. 그래서 캐스케이드 시스템과 대화할 때는 사용자가 규율을 지켜야 하고, 5초쯤 생각하다 말하면 모델이 헷갈려 끼어든다. 풀 듀플렉스 모델은 사용자 채널과 AI 채널을 나눈 스테레오 통화 데이터로 학습해 이 문제를 구조적으로 없앴다.

다만 그는 현재 자사가 시장에 맞춰 캐스케이드를 제공한다고 솔직히 밝힌다. 음성 대 음성 모델은 모든 것이 통합돼 있어 뒤에 붙은 텍스트 모델을 바꾸려면 음성 데이터로 다시 미세조정해야 하고, 텍스트 쪽 발전이 빠른 지금 그 교체 비용이 너무 크기 때문이다. 데이터에 대한 감각도 텍스트와 다르다. 음성 데이터는 정보 밀도가 낮아 세상 지식을 음성으로 배우게 하는 것은 나쁜 생각이라며, 텍스트 모델에서 출발해 지능 손실을 막으며 음성으로 확장했고 중요한 것은 양보다 정확한 주석이 붙은 고품질 데이터라고 강조한다.

주요 인사이트

• 전문가 풀이 얇다는 사실이 이 분야에서는 방어막으로 작동한다. 세계적으로 경쟁력 있는 음성 모델을 훈련할 수 있는 사람이 수십 명 수준이고 필요한 연산 자원도 상대적으로 적기 때문에, 소수 정예 팀이 대형 조직과 겨룰 수 있는 구조가 만들어진다.
• 범용 멀티모달 모델에 음성을 얹는 접근에는 구조적 대가가 따른다. 파라미터와 데이터라는 한정된 예산을 두고 음성이 코드 생성이나 이미지 이해와 경쟁해야 하고, 그렇게 커진 모델은 대규모 서비스에서 경제성을 맞추기 어렵다. 음성 모델이 작아야 하는 이유가 성능이 아니라 단가에 있다는 지적이다.
• 평가 지표에 대한 회의가 제품 전략으로 이어진다. 오디오 품질을 점수로 매기는 신경망은 제한된 환경 밖에서 무너지고, 음악 선호 실험에서는 동료들 사이에서도 선호가 전혀 일치하지 않았다. 그래서 하나의 최고 목소리를 찾기보다 사용자가 자기 용도에 맞는 목소리를 직접 설계하도록 하는 방향이 대안으로 제시된다.
• 벤치마크 최적화의 함정도 구체적이다. 음성합성 평가가 문학 낭독 위주로 짜여 있다 보니 러시아 이름의 철자를 놓치는지 같은 것만 재고, 실제로 중요한 전화번호·이메일 주소·URL을 제대로 읽는지는 평가하지 않는다. 마지막 1퍼센트를 붙드는 동기는 결국 그것이 사업일 때만 생긴다는 것이다.
• 워터마킹에 대한 평가는 단호하다. 그는 워터마킹이 통하지 않는다고 말하며 논문 부록에서 쉽게 무력화한 사례를 언급하고, 검증할 플랫폼이 없으면 무용지물이라고 지적한다. 대신 전화를 건 상대가 본인이 맞는지 개인적인 질문으로 확인하는 것이 현실적인 대응이라고 조언한다.

자주 묻는 질문

관련 AI 소식