LLM 추론 최적화 총정리: KV 캐시, 연속 배칭, 페이지드 어텐션, 추측 디코딩과 서빙 지표
대학 LLM 강의가 추론 서빙 기술을 한자리에 정리했다. 프리필과 디코드가 왜 다른지, TTFT·TPOT·굿풋은 무엇을 재는 지표인지, 페이지드 어텐션과 연속 배칭·추측 디코딩·양자화가 서빙 비용을 어떻게 줄이는지 짚었다.
핵심 내용 읽기 →
AI TOPIC
추측 디코딩 최신 뉴스와 핵심 해설
추측 디코딩 관련 핵심 뉴스와 활용 인사이트 7편을 최신순으로 모았습니다.
추측 디코딩(Speculative Decoding) 완전 정리: 3배 빠른 LLM 추론의 원리와 선택 기준
작은 초안 모델이 토큰을 미리 찍고 큰 타깃 모델이 한 번의 순전파로 검증하는 추측 디코딩. 출력 품질이 수학적으로 보존되는 이유와 세 가지 구현 방식, 그리고 오히려 쓰지 말아야 할 상황까지 정리했다.
핵심 내용 읽기 →
야코비 포싱 정리: 초안 모델 없이 LLM 추론을 4배 빠르게 만드는 방법
추측 디코딩의 초안 모델을 없애고 모델 스스로 자기 출력을 추측하게 만드는 야코비 포싱의 원리와 한계를, 확산 기반 생성과 비교해 정리했다.
핵심 내용 읽기 →
DeepSeek-V4 DSpark 해설: 추측 디코딩으로 처리량 최대 6배 높이기
DeepSeek가 공개한 DSpark(추측 디코딩) 연구를 정리했습니다. 반자기회귀 초안 생성과 서버 부하를 반영한 검증 스케줄링으로 처리량을 최대 수 배 높이는 원리를 다룹니다.
핵심 내용 읽기 →
TiDAR 설명: 확산·자기회귀 하이브리드로 LLM 추론을 4~6배 가속하는 원리
엔비디아 연구진의 TiDAR는 자기회귀 추론에서 놀고 있는 GPU 연산을 활용해 확산 방식으로 다음 토큰 초안을 만들고 검증한다. 품질은 그대로 두고 속도만 4~6배 끌어올린 하이브리드 언어모델의 원리를 쉽게 정리했다.
핵심 내용 읽기 →
딥시크 DSpark: 추측 디코딩 개선으로 AI 추론 속도 최대 85% 향상
자원이 부족한 중국 AI 연구소 딥시크가 마르코프 헤드와 신뢰도 헤드로 추측 디코딩의 한계를 넘어, 품질 손실 없이 생성 속도를 60~85% 높인 DSpark 시스템을 공개했다.
핵심 내용 읽기 →
추측 디코딩으로 LLM 추론을 2~3배 가속하기 — 정확도 손실 없이 속도를 높이는 방법
거대 언어 모델은 토큰을 하나씩 만드느라 느리다. 작고 빠른 초안 모델과 크고 정확한 목표 모델을 함께 쓰는 추측 디코딩은 거부 샘플링으로 정확도를 그대로 유지하면서 추론 속도를 2~3배 끌어올린다.
핵심 내용 읽기 →