엔비디아 Nemotron 3.5 ASR 실사용 후기: 6억 파라미터로 실시간 음성인식 자체 호스팅하기

핵심 메시지

• 엔비디아가 공개한 Nemotron 3.5 ASR은 6억 파라미터 체크포인트 하나로 40개 언어를 인식하며, 직접 서버에 올려 운영할 수 있다.
• 기존 자체 호스팅 음성인식 모델은 녹음이 끝난 파일을 처리하는 데 강했지만, 말하는 동안 실시간으로 받아쓰는 용도로는 약했다.
• '캐시 인식 스트리밍' 방식은 이미 계산해 둔 음성 구간을 재활용해 중복 연산을 없앤다. 엔비디아는 H100 기준 최대 17배 개선을 제시한다.
• '단어 부스팅'을 쓰면 재학습 없이 제품명·인명 같은 고유명사의 인식 정확도를 끌어올릴 수 있다.
• 화자 분리는 팟캐스트처럼 녹음된 음성에서는 잘 작동했지만, 실시간 자막에서는 아직 다루기 까다로웠다.

쉽게 이해하기

엔비디아가 여러 발표에 묻혀 조용히 내놓은 모델 가운데 하나가 실시간 음성인식용 Nemotron 3.5 ASR이다. 크기는 6억 파라미터 수준이고, 체크포인트 하나로 40개 언어를 처리한다. 영상에서 이 모델을 주말 동안 직접 돌려본 진행자는 회사의 음성-텍스트 변환 구성 전체를 이 모델 하나로 대체할 만하다고 평가했다.

그동안 개인이나 기업이 직접 서버에 올려 쓸 수 있던 음성인식 모델은 이미 녹음이 끝난 파일을 한꺼번에 처리하는 데 적합했다. 반면 통화나 회의처럼 말이 진행되는 동안 곧바로 글자를 뽑아내는 용도로는 만족스럽지 않았다. Nemotron 3.5 ASR은 바로 이 실시간 처리를 겨냥한 모델이라는 점에서 성격이 다르다.

핵심은 '캐시 인식 스트리밍'이라 불리는 처리 방식이다. 종전에는 실시간 음성을 조금씩 겹치게 잘라 넣었기 때문에, 겹치는 구간을 매번 다시 계산하며 시간과 연산을 낭비했다. 새 방식은 앞서 계산한 내부 상태를 저장해 두고 새로 들어온 음성만 이어 붙여 처리한다. 진행자는 언어 모델이 이전 계산을 재사용하는 방식과 성격이 비슷하다고 설명했다.

실시간 처리에서는 음성을 얼마나 잘게 잘라 넣을지도 직접 정할 수 있다. 80밀리초에서 1초 남짓까지 선택지가 있고, 이는 학습을 바꾸는 것이 아니라 실행 시점에 지정하는 설정값이다. 진행자의 체감으로는 구간을 짧게 잡으면 한두 단어씩 즉시 떠오르고, 길게 잡으면 문장 단위로 묶여 나오는 차이가 컸으며 정확도 차이는 생각보다 크지 않았다.

실무에서 특히 유용한 기능으로는 '단어 부스팅'이 꼽혔다. 음성인식 모델은 학습 과정에서 많이 들어본 단어로 기울기 때문에 제품명이나 사람 이름처럼 드문 표현을 자주 틀린다. 단어 부스팅은 인식 시점에 원하는 단어와 강도를 함께 넘겨 그 표현이 나올 확률만 높이는 방법으로, 가중치를 다시 학습하지 않는다.

주요 인사이트

• 실시간 음성인식의 걸림돌은 모델 크기보다 겹치는 음성 구간을 반복 계산하는 구조였다. 계산 결과를 재사용하는 설계 하나로 지연과 비용이 함께 줄어든다.
• 언어 지원은 등급이 나뉘어 있다. 바로 쓸 수 있는 언어가 19개, 실서비스 수준으로 제시된 언어가 13개이고, 나머지 8개는 추가 학습이 필요한 적응 대상이다. 진행자가 태국어를 그대로 시험했을 때는 제대로 작동하지 않았다.
• 고유명사 오인식은 미세조정이 아니라 인식 시점의 설정으로 상당 부분 해결할 수 있다. 제품명이 몇 달마다 바뀌는 환경이라면 재학습보다 훨씬 현실적인 선택이다.
• 실시간 모드에서는 문장부호와 대소문자 처리가 여전히 아쉬웠다. 진행자는 이것이 이 모델만의 문제라기보다 실시간 음성인식 전반의 한계에 가깝다고 봤다.
• 공개 직후 커뮤니티가 경량화 버전과 애플 실리콘용 변환본을 빠르게 내놓았다는 점도 자체 호스팅을 고민하는 쪽에는 의미 있는 신호다.

자주 묻는 질문

관련 AI 소식