풀 듀플렉스 음성 AI란 무엇인가: 오픈소스 모시와 GPT 라이브가 바꾼 대화 모델링 방식

핵심 메시지

• 기존 음성 비서는 음성 감지·인식·언어모델·음성합성을 차례로 잇는 캐스케이드 구조라 지연이 쌓이고 속삭임 같은 음향 정보가 전사 과정에서 사라진다.
• GPT-4o처럼 음성을 직접 다루는 엔드투엔드 모델은 음향을 잃지 않지만, 말하거나 듣거나 둘 중 하나만 가능한 반이중 방식이라 자연스러운 끼어들기가 어렵다.
• 새 세대는 사용자와 비서의 오디오를 두 개의 끊기지 않는 스트림으로 함께 모델링해, 침묵까지 오디오로 다루면서 '차례'라는 개념을 없앤다.
• 파리의 비영리 연구소 큐타이가 공개한 오픈소스 모시가 2년 앞서 이 구조를 증명했고, H100 100여 장으로 한 달 학습한 규모에서 사람보다 빠르게 응답한다.
• 시장은 아직 교체가 쉬운 캐스케이드 쪽이 유리하며, 닐 제기두르는 엔드투엔드가 따라잡는 데 1~2년, 그다음 과제는 소형화와 로봇 탑재라고 본다.

쉽게 이해하기

영상은 2013년 영화 '그녀'의 인공지능 사만다를 출발점으로 삼는다. 2026년 7월 오픈AI가 GPT 라이브를 내놓고, 두 달 전에는 미라 무라티가 세운 싱킹 머신스가 '인터랙션 모델'을 발표하면서 프런티어 연구소들이 갑자기 같은 방향으로 몰려들었다. 진행자는 이 흐름을 설명해줄 사람으로, 구글 미트와 노트북LM의 오디오 기술을 만든 뒤 파리의 비영리 연구소 큐타이를 세운 닐 제기두르를 불러 지금까지의 구조부터 정리한다. 이른바 캐스케이드 방식에서는 음성 활동 감지 모델이 30밀리초마다 사용자가 말하는 중인지 판단하고, 충분히 조용해지면 그 구간을 음성 인식 모델이 글자로 옮기며, 언어 모델이 만든 텍스트 답변을 마지막에 음성 합성이 소리 내어 읽는다. 단계마다 지연이 쌓여 사람의 평균 응답 간격인 200밀리초 남짓과 달리 몇 초가 걸리고, 텍스트로 바뀌는 순간 속삭임이나 억양 같은 정보도 사라진다.

반대편에는 엔드투엔드 모델이 있다. GPT-4o의 'o'는 옴니모달을 뜻하며, 텍스트·오디오·이미지를 텍스트 병목을 거치지 않고 함께 다루기 때문에 지연이 사람 수준에 가까워지고 비트박스처럼 오디오 자체를 다루는 요청도 시도할 수 있다. 그러나 한 번에 한 가지, 말하거나 듣거나만 가능해서 대화가 배턴을 주고받는 느낌으로 남는다. 상대가 말하는 도중에 "응, 응" 하고 맞장구치는 백채널링을 끼어들기로 처리할지 무시할지 판단하는 일이 어려운 이유다.

풀 듀플렉스는 이 전제를 바꾼다. 대화를 사용자용과 비서용 두 개의 동시 오디오 스트림으로 보고, 사용자가 말을 멈춘 구간에도 스트림은 침묵을 흘려보내며 계속 살아 있다. 넘겨줄 차례가 없으니 답하는 중에 다음 질문이 들어와도 잘리지 않는다. 무전기처럼 송신과 수신을 번갈아 하는 반이중과 대비되는 개념이다. 모시는 이를 위해 오디오를 약 80밀리초 프레임으로 자르고, 한 프레임을 의미 토큰 하나와 음향 토큰 일곱 개로 분해한 뒤 음향 쪽에 한두 프레임의 지연을 걸어 '먼저 뜻을 정하고 그다음 소리를 입히는' 위계를 만든다.

여기에 모시는 텍스트를 '속마음'이라는 형태로 되살린다. 오디오와 같은 속도로 함께 출력되는 이 텍스트 스트림은 사고 시간을 벌어주는 LLM의 사고 사슬과 달리 응답을 늦추지 않고, 말이 내용에서 겉돌지 않게 붙잡아두는 역할만 한다. 텍스트 스트림을 몇 초 늦추면 같은 구조가 받아쓰기 모델이 되고, 오디오를 늦추면 음성 합성 모델이 된다. 후속 연구인 모시 RAG는 속마음에 특수 토큰을 흘려 백그라운드 검색을 띄우고, 결과를 기다리는 동안 "한번 확인해 볼게요" 같은 말로 대화를 이어가는 방식으로 도구 호출을 자연스럽게 감춘다.

다만 현실의 무게추는 아직 반대쪽에 있다. 제기두르는 큐타이에서 스트리밍 음성 인식·합성을 묶은 언뮤트를 공개한 뒤, 기업들이 모시보다 그쪽에 훨씬 큰 관심을 보였다고 말한다. 이미 텍스트 모델을 가진 회사는 그것을 그대로 말하게 만들고 싶어 하기 때문이다. 엔드투엔드는 최신 언어 모델로 갈아끼우려면 전체를 다시 학습해야 하고, 애초에 가중치에 접근할 수 있어야 한다. 그는 남은 관문이 주로 사후 학습 쪽, 즉 합성 데이터와 보상 모델 설계라고 본다. 수학 문제와 달리 "이 대화가 자연스러웠는가"는 자동으로 채점할 방법이 마땅치 않기 때문이다.

주요 인사이트

• 최근의 품질 도약은 파라미터나 데이터가 커져서가 아니라 대화를 모델링하는 방식이 바뀐 결과에 가깝다.
• 침묵마저 하나의 오디오로 취급하는 순간 '말할 차례'라는 개념이 사라지고, 끼어들기와 맞장구가 특수 처리 대상이 아니라 기본 동작이 된다.
• 속마음 텍스트 스트림은 추론 시간을 버는 장치가 아니라 발화를 언어에 묶어두는 장치다. 같은 구조에서 지연을 어디에 거느냐에 따라 받아쓰기 모델도 음성 합성 모델도 나온다.
• 엔드투엔드의 최대 약점은 성능이 아니라 교체 불가능성이다. 최신 언어 모델을 끼워 넣을 수 없다는 점이 기업들이 캐스케이드를 택하는 실질적 이유다.
• 정답을 자동 채점할 수 있는 수학·코딩과 달리 '자연스러운 대화'에는 객관적 지표가 없어, 강화학습을 확장하기 어려운 영역으로 남아 있다.

자주 묻는 질문

관련 AI 소식