vLLM이란 무엇인가: 페이지드 어텐션과 연속 배치로 LLM 추론 비용과 지연을 줄이는 방법

핵심 메시지

• LLM 서빙은 단어 하나를 만들 때마다 막대한 계산이 필요해 일반적인 워크로드와 달리 느리고 비싸다.
• 기존 서빙 프레임워크는 GPU 메모리를 비효율적으로 잡아두는 경우가 있어, 모델 하나를 돌리려고 필요 이상의 하드웨어를 사게 만든다.
• vLLM은 UC 버클리 연구에서 출발한 오픈소스 프로젝트로, 메모리 단편화와 배치 처리, 분산 추론 문제를 함께 겨냥한다.
• 핵심 알고리즘인 페이지드 어텐션은 KV 캐시를 연속된 메모리에 통째로 올리는 대신 책의 쪽처럼 나눠 필요한 부분만 참조한다.
• 연속 배치는 요청을 조립 라인처럼 하나씩 처리하는 대신, 시퀀스가 끝나는 즉시 빈 GPU 자리를 새 요청으로 채운다.

쉽게 이해하기

영상은 챗봇이나 코드 어시스턴트가 어떻게 그렇게 빨리 답하는지, 반대로 왜 어떤 때는 한참 기다려야 하는지를 묻는 데서 시작한다. 그 뒤편에 추론을 더 효율적이고 빠르게 만들려는 오픈소스 프로젝트가 있다는 것이다. UC 버클리에서 처음 개발된 vLLM은 대형 모델을 돌릴 때 생기는 속도와 메모리 문제를 정면으로 다루도록 설계됐고, 양자화와 도구 호출을 지원하며 라마와 미스트랄, 그래나이트 등 널리 쓰이는 여러 LLM 아키텍처를 폭넓게 다룬다.

먼저 짚는 것은 LLM 서빙이 왜 까다로운가다. 언어 모델은 본질적으로 다음 단어를 예측하는 기계이고, 가상 머신이나 쿠버네티스 위에서 이 모델을 서빙하려면 응답의 단어 하나하나를 만들 때마다 엄청난 양의 계산을 해야 한다. 전통적인 워크로드와 성격이 다르기 때문에 비싸고 느리고 메모리를 많이 먹는다는 것이다.

프로덕션에서 마주치는 문제는 세 갈래로 정리된다. 첫째는 메모리 사재기다. 기존 서빙 프레임워크가 GPU 메모리를 비효율적으로 할당하는 탓에 비싼 자원이 낭비되고, 결국 모델 하나를 서비스하려고 필요 이상의 하드웨어를 구매하게 만든다. 둘째는 지연이다. 사용자가 늘수록 응답이 느려지는데, 배치 처리 과정의 병목이 원인으로 지목된다. 셋째는 확장이다. 조직 규모로 모델을 제공하려면 단일 GPU의 메모리와 연산 한계를 넘어서야 하고, 그러면 복잡한 설정과 분산 환경이 따라오면서 추가 부담과 기술적 복잡도가 생긴다.

vLLM이 내놓은 답의 중심에는 페이지드 어텐션이라는 알고리즘이 있다. 다음 토큰을 만들 때 쓰이는 어텐션 키와 값, 흔히 KV 캐시라 부르는 데이터를 더 잘 관리하기 위한 것이다. 모든 것을 연속된 메모리 공간에 한꺼번에 올려두는 대신 메모리를 다루기 좋은 덩어리로 나누고, 필요할 때 필요한 부분만 접근한다. 영상은 이를 책의 쪽에 비유하면서 컴퓨터가 가상 메모리를 다루는 방식과 비슷하다고 설명한다.

여기에 연속 배치가 더해진다. 요청을 조립 라인처럼 하나씩 순서대로 처리하는 대신 묶어서 다루되, 어떤 시퀀스가 끝나면 그 즉시 비는 GPU 자리를 새 요청으로 채우는 방식이다. 여기에 특정 하드웨어에서 성능을 끌어올리기 위한 CUDA 드라이버 수준의 최적화도 포함된다. 최초 논문에서는 허깅 페이스 트랜스포머스나 TGI 같은 유사 시스템 대비 처리량이 24배까지 개선된 결과가 제시됐다고 소개됐다.

실제 사용 방법도 간단히 짚는다. 대개 가상 머신이든 쿠버네티스 클러스터든 리눅스 환경에 모델을 배포하게 되는데, vLLM은 런타임이나 CLI 도구로 쓸 수 있고 pip 명령으로 설치한 뒤 터미널에서 모델을 받아 서빙할 수 있다. 이때 기존 앱과 서비스가 그대로 붙을 수 있도록 OpenAI API와 호환되는 엔드포인트를 제공하며, 양자화되거나 압축된 모델에 최적화돼 정확도를 지키면서 GPU 자원을 아끼도록 돕는다. 영상은 vLLM이 LLM 서빙 도구 가운데 하나일 뿐이지만 빠르게 인기를 얻고 있다는 말로 마무리한다.

주요 인사이트

• 메모리 낭비가 곧 하드웨어 구매로 이어진다는 지적이 이 주제의 핵심이다. 추론 최적화는 속도 문제로만 보이기 쉽지만, 실제로는 같은 GPU로 몇 명을 감당하느냐는 비용 문제에 가깝다.
• 페이지드 어텐션의 발상이 운영체제의 가상 메모리에서 왔다는 점은 시사적이다. 새로운 수학이 아니라 컴퓨터 시스템 분야의 오래된 해법을 KV 캐시 관리에 옮겨온 것이 큰 성능 차이를 만들었다.
• 연속 배치는 지연이 모델 자체보다 대기 구조에서 생긴다는 것을 보여준다. 앞선 요청이 다 끝날 때까지 자리를 비워두지 않고 끝나는 즉시 채우는 것만으로도 사용자가 체감하는 응답 시간이 달라진다.
• OpenAI API 호환 엔드포인트를 제공한다는 점은 도입 장벽과 직결된다. 애플리케이션 코드를 크게 고치지 않고도 서빙 계층만 바꿔 볼 수 있기 때문이다.

자주 묻는 질문

관련 AI 소식