로컬 AI 음성 비서 만들기: 위스퍼·미스트랄·비바보이스 온디바이스 파이프라인

핵심 메시지

• 위스퍼(음성→텍스트) → 미스트랄 미디엄(텍스트 생성) → 마이크로소프트 비바보이스(텍스트→음성) 세 모델을 순서대로 엮어, 듣고 대답하는 음성 AI를 클라우드 없이 로컬에서 구동했다.
• 세 모델이 한 대의 소형 기기(엔비디아 DGX 스파크)에 동시에 올라가며, 백팩에 들어갈 크기에서 완전한 로컬 추론이 가능하다.
• 이 기기는 시스템과 GPU가 함께 쓰는 약 120GB 통합 메모리를 갖춰, 필요에 따라 메모리를 옮겨 큰 오픈웨이트 모델도 로컬에서 돌릴 수 있다.
• 모델을 최적화 없이 단순히 이어 붙이면 지연(랙)이 생기며, 실시간 대화처럼 쓰려면 최적화 여지가 남는다는 점도 솔직히 보여준다.
• 이런 로컬 셋업은 프라이버시·자율성을 중시하는 사용자와, 클라우드 API로는 불가능한 미세조정·실험을 원하는 '팅커러(tinkerer)'에게 특히 유용하다.

쉽게 이해하기

이 영상은 '살짝 틀린 말을 들으면 굳이 정정해주는' 자동 참견 봇이라는 익살스러운 콘셉트로 시작하지만, 실제 내용은 로컬에서 돌아가는 음성 AI를 어떻게 조립하는지에 대한 엔지니어링 소개다. 화자는 마이크로 입력을 받아 텍스트로 바꾸고, 언어 모델이 대답을 만들고, 다시 음성으로 출력하는 전체 흐름을 하나의 소형 기기에서 구현했다.

핵심 구조는 세 모델의 직렬 연결이다. 먼저 위스퍼가 음성을 텍스트로 옮기고, 미스트랄 미디엄이 그 텍스트를 받아 응답을 생성하며, 마이크로소프트의 비바보이스가 그 텍스트를 음성으로 합성한다. 세 모델은 모두 같은 기기에 동시에 올라가 있고, 특유의 억양을 가진 기본 음성이 그대로 쓰였다. 화자는 이렇게 모델을 이어 붙이는 방식이 최적화되지 않으면 응답에 지연이 생긴다는 점도 숨기지 않는다.

이 모든 것이 돌아가는 하드웨어는 엔비디아가 협찬한 DGX 스파크다. 화자의 설명에 따르면 이 기기는 약 120GB의 통합 메모리를 갖는데, 이는 시스템과 GPU가 같은 메모리를 공유한다는 뜻이다. 덕분에 어떤 작업에는 시스템용으로, 다른 작업에는 모델 구동용으로 메모리를 유연하게 배분할 수 있다. 크기는 손바닥만 하지만 큰 모델을 돌릴 만큼의 메모리를 담고 있다는 점이 강조된다.

화자는 개발 편의 기능도 소개한다. 기기를 네트워크에 연결하면 호스트 이름을 받아 SSH로 접속할 수 있고, AI 워크벤치에서는 프로젝트별로 서로 다른 CUDA·파이썬·파이토치 버전을 컨테이너로 격리해 쓸 수 있다. 주피터랩이 바로 실행되고, 로컬에서 대형 오픈웨이트 모델로 코딩 환경을 꾸미거나 모델을 미세조정하는 등의 '플레이북' 예시도 제공된다.

그는 이런 로컬 기기가 두 부류에게 특히 잘 맞는다고 정리한다. 하나는 프라이버시와 자율성을 중시해 데이터를 밖으로 내보내지 않고 큰 오픈웨이트 모델을 직접 돌리려는 사용자이고, 다른 하나는 클라우드 API로는 건드릴 수 없는 부분까지 파고들어 실험하고 미세조정하려는 '팅커러'다. 작은 폼팩터 덕분에 어디에나 들고 다니며 자신만의 로컬 추론 환경을 가질 수 있다는 점이 매력으로 꼽힌다.

주요 인사이트

• 복잡한 음성 AI도 결국 '음성 인식 → 언어 모델 → 음성 합성'이라는 세 단계 모델의 조합으로 구성할 수 있다. 각 단계를 교체 가능한 부품처럼 다루는 파이프라인 사고가 핵심이다.
• 모델을 단순히 직렬로 이어 붙이면 지연이 누적된다. 실시간 대화 수준의 반응성을 얻으려면 파이프라인 최적화가 별도로 필요하다는 점을 실제 데모가 보여준다.
• 시스템과 GPU가 메모리를 공유하는 '통합 메모리' 구조는, 같은 용량을 상황에 따라 시스템용과 모델 구동용으로 유연하게 나눠 쓸 수 있게 해 대형 모델의 로컬 구동을 가능하게 한다.
• 컨테이너로 프로젝트별 CUDA·파이썬·프레임워크 버전을 격리하면, 서로 요구 사항이 다른 여러 AI 프로젝트를 한 기기에서 충돌 없이 운영할 수 있다.
• 로컬 온디바이스 추론은 데이터를 외부로 보내지 않아 프라이버시에 유리하고, 클라우드 API로는 어려운 미세조정·심층 실험을 자유롭게 할 수 있다는 점에서 클라우드와 다른 가치를 준다.

자주 묻는 질문

관련 AI 소식