AI VIDEO BRIEFING
SGLang 서빙 엔진 정리 — RadixAttention으로 vLLM 대비 처리량 6.4배, 어떤 상황에서 써야 하나
SGLang은 요청이 끝나도 KV 캐시를 버리지 않고 트리에 보관해 다른 요청이 재사용하게 만든 서빙 엔진이다. vLLM 대비 처리량 6.4배라는 수치와, 입력이 매번 달라지면 오히려 불리해지는 이유까지 정리했다.
핵심 메시지
- SGLang은 챗봇 아레나로 알려진 LMSYS 팀이 만든 오픈소스 LLM 서빙 엔진으로, 공식 논문 기준 vLLM보다 처리량이 6.4배 높고 지연 시간은 3.7배 짧다고 밝히고 있다.
- 핵심 기술인 RadixAttention은 요청이 끝나면 버려지던 KV 캐시를 트리 구조에 남겨 다른 요청이 다시 쓸 수 있게 만든 것이다.
- 메모리가 무한정 늘어나지 않도록, 새 노드를 만들 때마다 가장 오래 참조되지 않은 말단 노드를 순차적으로 지워 공간을 확보한다.
- 10K 토큰 문서를 시스템 프롬프트에 고정해 둔 다중 요청 테스트에서 Ollama·vLLM보다 빠른 결과가 나왔다.
- 반대로 사용자 입력이 매번 달라 캐시 재사용이 일어나지 않는 환경에서는 트리 관리 비용만 남아, 일반적인 메모리 최적화를 쓰는 vLLM이 더 유리하다.
쉽게 이해하기
로컬에서 대규모 언어 모델을 돌려 서비스를 만들려는 사람이 늘면서, 모델 자체보다 그 모델을 어떻게 '서빙'할지가 성능을 가르는 변수가 되고 있다. 이 영상은 그 서빙 엔진 가운데 최근 주목받는 SGLang을 소개한다. 발표자는 앞서 vLLM이 Ollama보다 여덟 배가량 빠르다고 소개했는데, 이번에는 그 vLLM보다 더 빠른 선택지가 있다는 이야기다.
SGLang은 챗봇 아레나를 만든 것으로 알려진 LMSYS 팀의 프로젝트로, 깃허브 스타가 2만 7천 개 수준이다. 영상은 이 프로젝트가 이미 여러 글로벌 기업에 채택돼 있다는 점을 근거로 든다. 일론 머스크가 만든 모델 Grok이 버전 3부터 이를 메인 서빙 엔진으로 쓰고 있고, 엔비디아는 자사 GPU에서 최적 성능이 나오도록 공식 지원을 하고 있다. AMD·인텔·구글 같은 회사들도 활용한다고 소개한다.
성능의 뿌리는 RadixAttention이라는 구조다. 기존 서빙 시스템은 토큰 생성 과정에서 중복 연산을 피하려고 KV 캐시를 만들어 두고도, 요청이 끝나면 이를 전부 지워 버린다. 발표자는 이를 '업무를 한 번 끝낼 때마다 기억을 스스로 지워 버리는 직원'에 비유한다. 같은 일을 반복해도 매번 처음처럼 헤매게 된다는 뜻이다.
이 낭비가 특히 아픈 곳이 검색 증강 생성(RAG) 기반 서비스다. 검색으로 가져온 문서 일부를 매 추론마다 컨텍스트에 다시 넣게 되는데, 그때마다 같은 연산이 처음부터 반복된다. 이전 대화 기록을 참조하는 멀티턴 구조라면 중복은 더 심해진다. RadixAttention은 KV 캐시를 트리의 노드 형태로 저장해 두고 필요할 때 탐색해 꺼내 쓰는 방식으로 이 반복을 없앤다. 추론이 쌓일수록 재사용 가능한 캐시도 함께 쌓인다.
다만 영상은 '무조건 SGLang'이라는 결론으로 가지 않는다. 캐시 재사용이 전혀 일어나지 않는 불규칙한 입력이 계속 들어오면, 트리에 쌓이기만 하고 관리 비용만 발생하는 상황이 된다. 배보다 배꼽이 커지는 구조다. 그래서 프롬프트가 예측 가능하고 반복되는 맥락이 많은 서비스에는 SGLang이, 그렇지 않은 일반적인 환경에는 메모리 최적화 중심의 vLLM이 맞는다는 것이 이 영상의 정리다.
주요 인사이트
- 서빙 엔진의 속도 차이는 모델을 더 잘 계산해서가 아니라, 이미 한 계산을 얼마나 버리지 않는가에서 나온다. RadixAttention은 새로운 연산 기법이 아니라 '지우지 않기'라는 결정에 가깝다.
- 벤치마크 수치는 측정 조건과 분리해서 읽으면 안 된다. 이 영상의 테스트가 SGLang에 유리했던 이유는 10K 토큰 문서를 시스템 프롬프트에 고정해 캐시 재사용이 극대화되는 조건을 만들었기 때문이다.
- 자기 서비스의 입력 패턴을 먼저 파악하는 것이 엔진 선택보다 앞선다. 고정된 지침이나 문서를 매번 넣는 구조인지, 매번 전혀 다른 입력이 들어오는 구조인지가 결론을 뒤집는다.
- 캐시를 계속 보관하는 설계는 메모리 관리 정책과 한 몸이다. 오래 쓰이지 않은 말단 노드부터 지우는 방식이 없으면 이 구조는 성립하지 않는다.
- 특정 기술이 널리 쓰이는지 판단할 때 채택 사례는 유용한 신호다. 모델 제공사와 GPU 제조사가 동시에 이를 지원한다는 것은 생태계 차원의 검증에 가깝다.
자주 묻는 질문
SGLang이 vLLM보다 항상 빠른가요?
아닙니다. 영상은 공식 논문이 제시한 처리량 6.4배, 지연 시간 3.7배 단축이라는 수치를 소개하면서도, 이는 반복되는 맥락이 많은 조건에서의 이야기라고 선을 긋습니다. 매번 다른 입력이 들어와 캐시 재사용이 없는 환경에서는 트리 관리 오버헤드만 남아 vLLM이 더 유리하다고 설명합니다.
RadixAttention이 정확히 무엇을 바꾸는 건가요?
기존 서빙 엔진은 토큰 생성이 끝나면 KV 캐시를 삭제했습니다. RadixAttention은 이를 지우지 않고 래딕스 트리 노드 형태로 보관해, 다른 요청에서도 같은 캐시를 재사용할 수 있게 합니다. 래딕스 구조는 메모리 사용량이 적고 탐색이 빨라 이 용도에 맞습니다.
캐시를 계속 보관하면 메모리가 부족해지지 않나요?
영상은 이 질문을 직접 다룹니다. 새로운 노드를 생성할 때마다 가장 오랫동안 참조되지 않은 말단 노드를 순차적으로 삭제해 여유 공간을 확보하는 정책이 함께 동작하기 때문에, 사용자가 별도로 관리할 필요는 없다고 설명합니다.
어떤 서비스에 SGLang이 잘 맞나요?
프롬프트가 예측 가능하고 반복되는 맥락이 많은 환경입니다. 같은 문서나 지침을 매 요청마다 시스템 프롬프트로 고정해 넣는 구조, 이전 대화를 계속 참조하는 멀티턴 구조가 대표적입니다. 반대로 반복 입력이 거의 없는 서비스에는 이점이 크지 않습니다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗