sLLM 서빙 최적화 정리, 연속 배치와 플래시 어텐션 페이지드 어텐션 그리고 vLLM 실습
작은 언어모델을 직접 서빙할 때 속도를 좌우하는 배치 전략과 어텐션 최적화, KV 캐시 관리 기법을 스터디 발표 내용과 실측 결과로 정리했다. vLLM으로 돌린 비교 실험과 로컬 모델의 도구 호출 한계까지 담았다.
핵심 내용 읽기 →
AI TOPIC
모델서빙 최신 뉴스와 핵심 해설
모델서빙 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
스트리밍 음성인식(ASR) 추론 서버가 LLM 서빙과 다른 이유와 GPU 메모리·비용 구조 정리
실시간 스트리밍 음성인식(ASR)을 서버에 올릴 때 GPU 메모리·지연·비용이 어떻게 달라지는지, Kyutai Moshi 모델과 Rust 추론 서버 실험 사례를 바탕으로 KV 캐시 관리부터 LLM 서빙과의 차이까지 정리했다.
핵심 내용 읽기 →
머신러닝 모델 배포 가이드 — 클라우드 vs 엣지, 서빙과 모니터링 실무
머신러닝 모델을 프로덕션에 올리는 과정을 배포·서빙·모니터링 세 단계로 나누어 정리했다. A/B 테스트와 카나리 배포, 클라우드와 엣지의 트레이드오프, 드리프트 모니터링까지 핵심 결정 지점을 짚는다.
핵심 내용 읽기 →