로컬 음성 받아쓰기 앱 직접 만들기 - Whisper와 로컬 LLM으로 구독 없이

핵심 메시지

• 유료 받아쓰기 도구를 대신할, 100% 로컬에서 동작하는 무료 오픈소스 음성 받아쓰기 앱을 직접 만들었다. 구독료가 없고 음성 데이터가 기기 밖으로 나가지 않는다.
• 동작 흐름은 단축키(control+shift)로 녹음 시작·종료 → 음성 캡처 → 음성-텍스트 변환(STT) → 로컬 LLM이 군더더기(추임새 등)를 정리 → 커서 위치에 텍스트 삽입으로 이어진다.
• 로컬이 중요한 이유는 세 가지다. 클라우드 도구는 오디오를 서버로 보내 지연이 생기고, 월 구독이 들며, 인터넷이 없으면 못 쓴다. 로컬 앱은 오프라인에서도 동작한다.
• 제작에는 클로드(Claude)를 사용했고, 로컬 LLM은 Ollama로 내려받아 쓴다. 전체 코드는 깃허브에 공개되어 있으며 재현 방법과 사용한 프롬프트까지 함께 제공한다.
• 맥용으로 만들었지만, 윈도우 등 다른 환경도 클로드에게 코드를 맞춰 달라고 요청해 적응시킬 수 있다고 설명한다.

쉽게 이해하기

이 영상은 유료 음성 받아쓰기 도구(Whisper Flow)의 구독을 끊고, 같은 일을 하는 도구를 직접 만들어 100% 로컬에서 무료로 돌린 과정을 소개한다. 맥 어디서나 단축키 한 번으로 말을 텍스트로 바꿔 넣을 수 있고, 데이터가 컴퓨터 밖으로 나가지 않는 것이 핵심이다.

사용 흐름은 단순하다. control+shift를 누르면 파형이 뜨고, 말한 뒤 다시 누르면 몇 초 안에 텍스트가 생성된다. 뒤에서 언어 모델이 추임새 같은 군더더기를 정리해 바로 쓸 수 있는 문장으로 다듬어 주고, LinkedIn·WhatsApp·코딩 등 맥의 어떤 앱에서도 쓸 수 있다.

내부 구조는 다섯 단계다. ①단축키로 트리거 → ②음성 캡처 → ③음성을 텍스트로 변환(STT) → ④Ollama로 내려받은 로컬 LLM이 군더더기를 제거하고 필요하면 긴 맥락을 정리 → ⑤정리된 텍스트를 커서 위치에 삽입. 이 앱은 컴퓨터에서 상시(24/7) 동작한다.

로컬로 만든 이유는 분명하다. 클라우드 도구는 오디오를 서버로 전송해 지연이 생기고 월 구독이 필요하며, 무엇보다 인터넷이 없으면 쓸 수 없다. 기차나 비행기처럼 연결이 불안정한 곳에서도 쓰려면 로컬이 유리하고, 오디오가 기기 안에만 머무르므로 프라이버시에도 좋다.

제작에는 클로드를 활용했다. 계획 수립에는 Opus 4.8, 실제 구현에는 Fable 5를 썼다고 밝히지만, 반드시 그 모델이어야 하는 것은 아니며 공개된 저장소를 복제해 재현할 수 있다. 깃허브에는 재현 안내(reproduce.md)와 저자가 쓴 프롬프트가 담긴 안내(steps.md)가 함께 있어, 그대로 따라 하거나 직접 다시 만들어 볼 수 있다. 설치는 Python 3.12와 Ollama 등을 단계별로 따라 하면 되고, 막히면 클로드에게 물어 진행할 수 있다고 안내한다.

주요 인사이트

• 클라우드 SaaS를 구독하는 대신, 같은 기능을 로컬 오픈소스로 재현해 반복 비용을 없애는 접근이다. "구독을 또 늘리기보다 안 내도 되는 것을 직접 만든다"는 동기가 분명하다.
• 로컬 우선 설계의 실질적 이점은 오프라인 동작과 데이터 비유출이다. 오디오가 기기를 떠나지 않아 프라이버시와 연결 독립성을 동시에 얻는다.
• STT 뒤에 로컬 LLM으로 후처리(추임새 제거·문맥 정리)를 붙인 점이 핵심 설계다. 단순 받아쓰기를 넘어 바로 붙여 쓸 수 있는 깔끔한 텍스트를 만든다.
• AI 코딩 도구(클로드)를 이용하면 비전문가도 저장소를 복제해 설치하거나 자기 환경(예: 윈도우)에 맞춰 고칠 수 있다는 점을 반복해 강조한다.
• 완벽하지는 않을 수 있지만, 반복되는 구독 비용을 없애고 번거로움을 줄이는 실용적 대안이 될 수 있다는 것이 제작자의 결론이다.

자주 묻는 질문

관련 AI 소식