음성 입력·비주얼 출력 AI 설계법: 200ms 지연시간과 빠른 모델 3원칙

핵심 메시지

• 안드레이 카르파시는 인간이 AI에 ‘음성’으로 입력하길 선호하지만 응답은 ‘시각’으로 받길 원한다고 주장했고, 강연자는 이 ‘음성 입력·비주얼 출력’ 방식이 최근에야 실현 가능해졌다고 본다.
• 음성 대 음성(voice-in/voice-out) 대화는 200밀리초 이하의 지연을 요구해 매우 어렵지만, 화면 출력은 1초 이내면 자연스럽게 느껴져 ‘지연 시간의 폭정’을 우회할 수 있다.
• 매끄러운 경험의 첫째 조건은 빠른 모델이다. 작을 뿐 아니라 지연을 우선하는 추론 환경이 필요하며, Haiku급 모델이나 소형 오픈소스 모델이 적합하다.
• 둘째는 짧은 추론 간격이다. 사용자가 말을 멈출 때까지 기다리지 말고 1~2초마다 적극적으로 추론을 보내야 한다.
• 셋째는 안정적인 캐싱 전략이다. 접두어 캐싱으로 컨텍스트 앞부분을 매번 동일하게 유지하면 추론이 최대 90% 더 싸고 빨라진다.

쉽게 이해하기

이 강연은 포레스트워크 랩스(Forestwalk Labs)의 앨런 파이크가 AI 엔지니어 컨퍼런스에서 ‘음성으로 입력하고 화면으로 출력하는’ AI 경험을 만들며 배운 점을 공유한 내용이다. 그는 안드레이 카르파시가 지난달 내놓은 주장, 즉 인간은 AI에 음성으로 입력하길 선호하지만 결과는 시각적으로 받길 원한다는 관점에서 출발한다. 그동안 우리는 AI에 글자를 입력하고 마크다운으로 답을 받아왔지만, 최근 몇 달의 돌파구로 음성 입력·시각 출력 경험이 비로소 실현 가능해졌다는 것이다.

시각 출력이 직관적인 이유로 그는 우리 뇌의 약 3분의 1이 시각 정보 처리에 쓰인다는 점을 든다. 모델이 풍부한 HTML과 도구 호출, 상호작용 가능한 컨트롤, 삽화·이미지까지 생성할 수 있게 되면서 응답을 시각적으로 탐색하고 수정·조작하는 경험의 한계가 크게 높아졌다고 설명한다.

반면 ‘음성 입력 선호’는 더 논쟁적이다. 시리나 챗GPT 음성 모드처럼 사람들이 그동안 겪은 음성 인터페이스는 느리고 둔했기 때문이다. 그러나 말하기는 분당 단어 수가 타이핑보다 많고, 같은 단어라도 어조로 더 많은 의미를 전달한다(“오케이”와 “오케이…”의 차이). 그래서 정말 중요한 소통은 전화를 걸거나 직접 만나서 한다는 것이다.

포레스트워크는 회의 통화 속에서 실시간으로 돕는 에이전트를 만들었다. 강연자가 통화 중 “슬랙 연동에서 버그를 본 것 같다”고 말하고 “그걸 리니어(Linear) 이슈로 등록하자”고 하자, 음성 에이전트가 1초 안에 처리했다는 사례를 소개한다. AI가 사용자의 의도에 따라 방해 없이 행동을 대신하는 경험이다.

가장 큰 장벽은 ‘지연 시간의 폭정’이다. 1960년대부터 컴퓨터가 즉각적으로 느껴지려면 약 100밀리초 안에 반응해야 한다고 알려졌고, 1초를 넘으면 사람은 생각의 흐름을 잃는다. 완전한 음성 대 음성 대화라면 200밀리초 이하가 필요한데, 네트워크와 음성 인식·추론을 거치면 사실상 달성이 어렵다. 그래서 새로운 아키텍처를 기다리는 대신 음성 입력·시각 출력으로 전환해 1초 이내 화면 반응이라는 더 너그러운 기준을 활용하자는 것이 강연의 핵심 제안이다.

주요 인사이트

• GPT-5 mini는 더 저렴했지만 실제로는 5,000밀리초, P95 7,000밀리초, 때로 10,000밀리초의 지연을 보여 실시간 응답에는 부족했고, Haiku급 모델이 P95 지연에서 훨씬 나았다고 한다.
• 무거운 작업은 빠른 실시간 모델이 더 큰 ‘사고형’ 모델에 비동기로 넘긴 뒤, 그 결과를 실시간 응답 사이에 다시 끼워 넣는 방식으로 처리한다.
• 전통적 음성 앱처럼 1초간의 침묵을 기다렸다가 추론하면 예산을 낭비한다. 사용자가 말하는 도중이라도 1~2초마다 추론을 보내야 더 매끄럽게 느껴진다.
• 접두어(prefix) 캐싱을 적극 활용해 컨텍스트의 앞 90%를 요청마다 동일하게 유지하고 마지막 10%만 바꾸며 출력 토큰 수를 최소화하면, 빠르면서도 비교적 저렴한 추론이 가능하다.
• 음성 대 음성의 200밀리초 문제를 정면 돌파하려는 시도도 있다. 강연자는 Thinking Machines와 Neolab이 200밀리초 단위로 시간을 잘게 쪼개 연속 추론하는 아키텍처를 최근 시연했다고 언급한다.

자주 묻는 질문

관련 AI 소식