음성 AI 에이전트, 작은 모델과 스캐폴딩으로 950ms 응답 만들기

핵심 메시지

• 음성 에이전트에서 진짜 예산은 지능(IQ)이 아니라 밀리초 단위의 지연 시간이다. 답이 아무리 좋아도 모델이 1초를 생각하면 대화의 흐름은 이미 끊긴다.
• 개발팀은 일부러 작은 모델을 쓰고, 어려운 부분(무엇을 언제 할지, 학생이 무엇을 아는지, 다음에 무엇을 설명할지)을 모델에서 떼어내 코드로 만든 상태 머신에 맡겼다.
• 모델에는 그것이 가장 잘하는 한 가지, '말하기'만 남긴다. 상태 머신이 매 턴마다 요약을 건네면 모델은 그걸 말로 뱉는다.
• 같은 질문에서 Opus 4.7은 추론하느라 몇 초가 걸렸지만, 스캐폴딩을 두른 더 작은 Haiku 4.5는 약 900밀리초 만에 답했다.
• 스캐폴딩은 공짜가 아니라 '비용'이지만, 매 턴이 아니라 코드에 한 번만 지불하면 된다.

쉽게 이해하기

발표자 오넬라와 조엘은 소형 모델 위에서 돌아가는 실시간 AI 음성 튜터 'Ace'를 만들었다. 이들은 작은 모델을 쓴 것이 타협이 아니라고 말한다. 음성 통화에서 1초의 침묵은 튜터와 먹통을 가르는 차이이고, 사람의 뇌는 잠깐만 끊겨도 '죽었다'고 느끼기 때문이다.

그래서 이들의 예산은 처음부터 지능이 아니라 지연 시간이었다. 모델은 약 950밀리초 안에 말을 시작해야 하고, 1초를 통째로 생각하는 프런티어 모델은 답이 아무리 좋아도 이미 방의 분위기를 잃는다. 이들은 모델을 작게 만들고 가장 어려운 판단을 모델에서 빼냈다.

조엘은 오늘날의 프런티어 모델(예로 Anthropic의 Claude 4.7을 든다)이 추론에는 아주 뛰어나지만 바로 그 점이 문제라고 설명한다. 추론에 몇 초가 걸리는데, 음성 애플리케이션에서는 그 몇 초가 매우 값지기 때문이다. 그래서 모든 '생각'을 모델 밖 상태 머신으로 추출했다.

Ace 팀은 수업에 필요한 모든 시나리오를 미리 설계해, 각 단계를 다음 단계로 잇고 학생의 숙달도를 가늠하는 지능 계층을 상태 머신 위에 얹었다. 다음에 무엇을 할지, 무엇을 화면에 띄울지, 질문에 어떻게 답할지는 모두 모델 밖에서 결정되고, 그 결과만 모델에 넘겨 말하게 한다.

실제 비교 영상에서 순수한 Opus 4.7은 같은 질문에 몇 초간 추론한 뒤 답했지만, 같은 구조를 얹은 더 작은 Haiku 4.5는 약 900밀리초 만에 답했다. 다만 작은 모델은 스캐폴딩이 없으면 긴 구조에서 흐트러지므로 엄격한 규칙이 필요하다. 발표자들이 제시한 규칙은 '지연 예산이 허용하는 가장 빠른 모델을 고르고, 남는 시간은 스캐폴딩 구축에 쓰라'이다.

주요 인사이트

• 지연 시간이 곧 UX인 실시간 음성에서는 모델의 추론 능력보다 응답 속도가 우선이다. 발표자들은 그 순간 음성에서는 추론이 오히려 역행한다고 표현한다.
• 소형 모델의 대가(스캐폴딩)는 매 턴이 아니라 코드에 '한 번' 지불된다는 점이 핵심 경제성이다. 이 덕분에 비용 효율적이면서도 실시간 음성에 더 적합한 시스템이 된다.
• 이 접근은 음성뿐 아니라 지연이 중요한 실시간 애플리케이션, 그리고 대용량(high volume) 작업 전반에 유효하다. 그런 경우 모델은 시스템에서 가장 작은 부분이 된다.
• 로직·추론을 코드(상태 머신)로 옮기고 모델에는 말하기만 맡기면, 스마트한 판단은 모델이 말하기 전에 이미 끝나 있어 응답이 거의 즉각적으로 느껴진다.

자주 묻는 질문

관련 AI 소식