vLLM LLM 추론 최적화: 양자화·페이지드 어텐션·프리픽스 캐싱으로 서빙 비용 낮추기

핵심 메시지

• 700억 파라미터 LLM은 가중치만으로도 약 140GB 메모리를 차지하고, 토큰 정보를 담는 KV 캐시까지 더하면 요청 하나를 처리하는 데도 여러 개의 GPU가 필요할 수 있다.
• vLLM은 널리 쓰이는 오픈소스 서빙 시스템으로, 페이지드 어텐션(paged attention)으로 런타임에 KV 캐시 메모리를 관리해 많은 동시 요청을 처리한다.
• 양자화(quantization)로 모델의 메모리 사용량을 줄이면 데이터가 메모리를 오가는 속도까지 빨라진다.
• 프리픽스 캐싱(prefix caching)은 여러 요청이 같은 시스템 프롬프트를 공유할 때 이미 계산한 값을 재사용해 중복 연산을 없앤다.
• 실제 배포는 최적화→배포→벤치마크 순서로 진행하며, 지연 시간과 처리량을 재고 속도·비용·정확도 사이의 트레이드오프를 조율해야 한다.

쉽게 이해하기

DeepLearningAI가 레드햇(Red Hat)과 함께 만든 이 강의는 오픈소스 대형 언어 모델을 실제 서비스 환경에서 효율적으로 서빙하는 방법을 다룬다. 여러 사용자에게 낮은 지연 시간과 합리적인 비용으로 동시에 응답을 제공하는 일은 생각보다 어렵고, 그 핵심에는 메모리 관리가 있다.

왜 어려운지는 숫자로 드러난다. 700억 파라미터 규모의 모델은 가중치를 담는 데만 약 140GB의 메모리가 필요하다. 여기에 각 토큰의 정보를 저장하는 KV 캐시가 실행 중에 계속 쌓이면서 메모리를 추가로 잡아먹는다. 그래서 단 한 건의 요청을 처리하는 데도 여러 장의 GPU가 동원되어야 하는 상황이 벌어진다.

강의는 이 문제를 완화하는 세 가지 기법을 중심에 둔다. 첫째, 양자화는 모델을 압축해 메모리 사용량을 줄이는데, 부수적으로 데이터가 메모리를 이동하는 속도까지 빨라진다. 둘째, vLLM의 페이지드 어텐션은 런타임에 KV 캐시를 효율적으로 관리해 여러 요청을 동시에 감당하게 해준다. 셋째, 프리픽스 캐싱은 요청들이 같은 시스템 프롬프트를 공유할 때 이전에 계산해 둔 값을 다시 쓰게 해 불필요한 재연산을 없앤다.

이론에 그치지 않고 학습자는 자신의 모델로 최적화·배포·벤치마크로 이어지는 실전 워크플로를 직접 돌려 본다. 양자화로 정확도를 크게 잃지 않으면서 모델을 압축하고, KV 캐시가 무엇이며 왜 중요한지 이해한 뒤, 페이지드 어텐션과 프리픽스 캐싱이 실제로 작동하는 모습을 확인한다.

마지막 단계에서는 실제 트래픽을 흉내 낸 부하를 걸어 지연 시간과 처리량 같은 지표로 배포 성능을 측정한다. 모든 배포 결정에는 속도·비용·정확도 사이의 절충이 따르는데, 강의는 이 균형을 어떻게 판단하는지까지 짚는다. 강사는 vLLM이 오늘날 프로덕션에서 효율적인 LLM 서빙을 떠받치는 핵심 인프라라고 강조한다.

주요 인사이트

• LLM 서빙의 병목은 연산 능력보다 메모리다. 가중치와 KV 캐시가 GPU 메모리를 잠식하기 때문에, 서빙 최적화는 결국 메모리를 얼마나 아끼느냐의 문제로 귀결된다.
• 양자화는 단순히 모델을 작게 만드는 데서 끝나지 않는다. 메모리 대역폭 부담을 줄여 데이터 이동 속도까지 개선하므로, 정확도를 크게 해치지 않는 선에서 적용하면 속도와 비용을 동시에 잡을 수 있다.
• 페이지드 어텐션과 프리픽스 캐싱은 '이미 한 일을 다시 하지 않는다'는 발상의 구현이다. 특히 같은 시스템 프롬프트를 쓰는 서비스라면 프리픽스 캐싱만으로도 상당한 낭비를 줄일 수 있다.
• 성능을 말하려면 측정이 있어야 한다. 실제 트래픽을 시뮬레이션해 지연 시간과 처리량을 재는 벤치마크 없이는 어떤 최적화가 실제로 효과가 있었는지 알 수 없다.

자주 묻는 질문

관련 AI 소식