음성 LLM 구조 해설 — 스피치 인코더·언어모델·보코더로 만드는 엔드투엔드 음성 AI

핵심 메시지

• 음성인식과 언어모델, 음성합성을 레고처럼 이어 붙이는 캐스케이드 방식은 정보 손실, 오류 전파, 지연이라는 세 가지 약점을 안고 있다.
• 엔드투엔드 음성 모델은 텍스트를 중간 표현으로 거치지 않고 벡터를 그대로 주고받는다.
• 구조는 스피치 인코더, 텍스트 기반 언어모델, 보코더의 세 부분으로 나뉘며 출력이 텍스트라면 보코더는 빠진다.
• 1분짜리 음성이 수천 개의 벡터가 되어 트랜스포머의 메모리를 잡아먹기 때문에 길이를 줄여 주는 압축 계층이 사실상 필수다.
• 공개 부품을 조립한 모델은 GPU 몇 장으로도 미세조정할 수 있지만, 처음부터 여러 모달리티를 함께 학습한 모델은 대기업만 만들 수 있는 규모다.

쉽게 이해하기

자연어 처리를 다루는 채널 Efficient NLP가 사람과 실시간으로 말을 주고받는 AI의 내부 구조를 설명한다. 음성을 텍스트로 바꾸는 모델, 텍스트를 처리하는 모델, 다시 음성으로 바꾸는 모델을 차례로 잇는 설계를 영상은 레고 블록 조립에 빗대어 캐스케이드 모델이라 부른다. 이 방식의 첫 번째 약점은 음성을 글자로 옮기는 순간 어조와 감정 같은 정보가 사라진다는 점으로, 중요한 이야기를 문자 대신 만나서 하거나 전화로 하는 이유와 같은 맥락이다. 두 번째는 시끄러운 곳에서 비슷하게 들리는 단어를 음성인식이 하나로 확정해 버리면 뒷단 모델은 어느 단어가 틀렸는지 알 길이 없어 오류를 바로잡지 못한다는 점이다.

세 번째 약점은 지연이다. 앞 모델의 출력이 모두 나와야 다음 모델이 시작하므로 응답이 느려진다. 텍스트를 중간 표현으로 거치지 않고 벡터를 그대로 주고받는 엔드투엔드 음성 모델은 이 세 가지를 한꺼번에 피해 가려는 시도이며, 스피치 인코더와 텍스트 기반 언어모델, 보코더의 세 부품으로 이루어진다.

첫 부품인 스피치 인코더는 음성을 받아 의미를 담은 정보와 화자의 목소리·억양 같은 음향 정보를 함께 실은 벡터 열로 바꿔 준다. 널리 쓰이는 선택지는 음성인식용으로 학습된 위스퍼의 인코더 부분이며, 자기지도 학습으로 만들어져 디코더가 아예 없는 HuBERT나 wav2vec 2.0 계열도 쓰인다. 구조는 달라도 결국 음성 벡터 열을 만들어 내는 부품이라는 점은 같다.

두 번째 부품은 지식과 추론을 담당하는 텍스트 기반 언어모델이다. 인간의 지식 대부분이 여전히 책과 글에 텍스트로 남아 있어서, 음성만으로 학습된 고급 추론 모델은 아직 없다는 것이 이유로 제시된다. 평소 텍스트 임베딩이 들어가던 자리에 스피치 인코더의 출력을 넣고 '이 오디오를 요약해 줘' 같은 프롬프트를 이어 붙이면, 두 벡터 열이 하나로 합쳐져 모델에 들어간다. 다만 여기에는 가중치가 공개된 모델이 필요해서, API로만 접근할 수 있는 상용 모델은 부품으로 쓰기 어렵다.

실무적으로 가장 성가신 문제는 길이다. 1분간 말하면 단어는 150개 남짓이지만 음성 벡터는 수천 개에 이르고 트랜스포머의 메모리 사용량은 길이의 제곱으로 늘어나기 때문에, 연속 프레임을 평균 내거나 1차원 합성곱으로 다운샘플링하는 길이 압축 계층을 끼워 넣는다. 마지막 부품인 보코더는 짧은 벡터 열을 사람이 들을 수 있는 파형으로 되돌리는데, 초당 수만 개에 이르는 샘플을 트랜스포머가 직접 만들어 낼 수 없어 별도로 필요하다. 영상은 공개 부품을 조립해 GPU 네 장으로 사흘이면 미세조정할 수 있는 모델과, 오디오·이미지·영상을 하나의 토큰 흐름으로 묶어 사전학습해 수만 장 규모의 GPU가 필요한 구글 제미나이 계열을 나란히 놓으며 마무리한다.

주요 인사이트

• 캐스케이드와 엔드투엔드의 차이는 성능 이전에 정보의 문제다. 텍스트라는 좁은 통로를 거치는 순간, 뒷단 모델이 쓸 수 있었을 어조와 불확실성 정보가 통로에서 잘려 나간다.
• 음성인식용으로 학습된 인코더의 중간 표현이 다른 용도로도 꽤 쓸 만한 음성 표현이 된다는 점은, 사전학습 모델을 부품으로 재사용하는 요즘 방식의 전형을 보여 준다.
• 음성은 텍스트보다 훨씬 긴 시퀀스를 만들어 낸다. 같은 1분이라도 토큰 수가 열 배 이상 벌어지므로, 길이 압축은 선택이 아니라 구조적 요구에 가깝다.
• 부품들이 따로 학습된 이상 서로의 출력을 알아들을 이유가 없기 때문에, 조립 후 통째로 미세조정하는 단계가 반드시 들어간다. 이때 LoRA 같은 효율적 미세조정 기법을 쓸 수 있다.
• 합성 데이터의 역할이 눈에 띈다. 텍스트로 된 지시 학습 데이터를 음성 합성으로 바꿔 학습에 쓰는 방식은, 구하기 어려운 음성 대화 데이터를 우회하는 실용적인 방법이다.

자주 묻는 질문

관련 AI 소식