vLLM 공동 리드 인터뷰: 페이지드 어텐션에서 Ray 연동까지, 오픈소스 추론 엔진의 현재

핵심 메시지

• vLLM은 오픈소스나 자체 보유 언어 모델을 데이터센터 하드웨어에서 효율적으로 돌리기 위한 추론 엔진이다.
• 출발점은 KV 캐시 메모리를 효율적으로 관리하는 연구였고, 이것이 페이지드 어텐션 논문으로 이어졌다.
• 추론 효율은 곧 비용이다. 토큰 하나가 연산 자원을 소모하므로, 효율이 오르면 같은 하드웨어로 더 많은 사용자를 감당할 수 있다.
• 요즘은 추론뿐 아니라 강화학습 기반 후처리 학습에서도 널리 쓰이며, Ray가 그 사이를 잇는 접착제 역할을 한다.
• vLLM과 Ray가 PyTorch 재단 아래로 들어간 것은 로드맵을 바꾸기보다 산업계 협력자들이 공통의 거버넌스를 갖게 하려는 조치다.

쉽게 이해하기

인터뷰의 주인공은 UC 버클리 스카이 컴퓨팅 랩에서 시작된 vLLM 프로젝트의 공동 리드 사이먼 모다. 진행자는 2년 반 만에 깃허브 스타 6만여 개와 2,900만 건에 이르는 다운로드를 기록했다는 점을 짚으며 대화를 연다. vLLM이 무엇이고 어떤 문제를 푸는지 묻자, 답은 간단하다. 허깅페이스에서 받은 오픈소스 모델이든 자체 모델이든, GPU와 TPU 같은 데이터센터 가속기 위에서 최대한 잘 돌아가게 만드는 추론 엔진이라는 것이다.

구조적 결정의 뿌리는 메모리 관리에 있다. 프로젝트는 KV 캐시, 즉 대화 상태와 토큰별 상태를 어떻게 효율적으로 관리할 것인가라는 질문에서 출발했고 그 결과가 페이지드 어텐션이다. 목표는 배치 크기, 즉 한 GPU에서 동시에 처리하는 대화 수를 최대로 끌어올리는 것이었다. 이후 스케줄링과 분산 추론으로 범위가 넓어져, 지금은 수백 장의 GPU 클러스터에서 조 단위 파라미터 모델까지 서빙한다.

왜 지금 추론 효율이 중요한지에 대한 설명은 현실적이다. 사용자 입장에서는 응답이 빨라지는 것이고, 서비스 제공자 입장에서는 같은 자원으로 감당하는 사용자 수가 늘어나는 것이다. 토큰 하나하나가 연산 비용이므로, 추론 단가가 내려가면 제품을 설계하고 사용자를 늘릴 여지도 함께 커진다. 가장 빠르고 쓰기 쉬운 엔진을 만들겠다는 목표는 결국 비용 문제로 수렴한다.

대화는 강화학습 스택으로 넘어간다. 요즘 오픈소스 강화학습 파이프라인은 vLLM으로 응답을 생성하고 보상을 매기는 단계를 담당하며, Ray가 학습 프레임워크와 스케줄링·배치를 이어 붙인다. 이 용도에서는 처리량뿐 아니라 수치적 안정성과 결정성도 요구된다. 학습이 제대로 되고 있는지 디버깅하려면 같은 입력에 같은 결과가 나와야 하기 때문이다. 사이먼 모는 vLLM이 내부적으로 Ray를 호출하고, 동시에 Ray Serve 같은 상위 계층이 vLLM을 감싸 쓰는 샌드위치 구조로 둘의 관계를 설명한다.

마지막은 오픈소스와 거버넌스 이야기다. Ray와 vLLM이 PyTorch 재단에 합류한 것에 대해 그는 로드맵이나 기여 방식이 달라지지는 않는다고 말한다. 재단의 역할은 중요한 산업계 협력자들이 공통의 거버넌스 아래 함께 일하도록 보장하는 데 있다는 것이다. 그는 2017~2018년 버클리 학부생 시절 Ray와 클리퍼 프로젝트에서 오픈소스를 처음 접했다며, 기여를 시작하려는 사람들에게 문서 수정부터 새 모델 추가와 GPU 커널 구현까지 진입점이 다양하다고 안내한다.

주요 인사이트

• 추론 엔진의 경쟁력은 속도 지표 하나가 아니라 생태계 호환성에 있다. 새 모델이 나오면 첫날부터 모든 하드웨어에서 돌아가고, 새 칩이 나오면 기존 모델들이 즉시 혜택을 받는 상태를 사이먼 모는 가장 기대하는 미래로 꼽는다.
• 추론과 학습의 경계가 흐려지고 있다. 강화학습 파이프라인에서 응답 생성과 보상 채점 단계가 곧 대규모 추론이기 때문에, 추론 엔진이 후처리 학습 인프라의 일부가 됐다.
• 강화학습 용도에서는 처리량보다 재현성이 더 까다로운 요구가 된다. 결과가 매번 달라지면 알고리즘이 잘못된 것인지 인프라가 흔들린 것인지 구분할 수 없다는 지적이 실무적으로 와닿는다.
• 재단 편입을 기술 변화가 아니라 협력 구조의 문제로 설명하는 대목이 인상적이다. 여러 기업이 같은 인프라에 의존하게 될수록, 프로젝트의 방향을 누가 어떻게 정하느냐가 기술 그 자체만큼 중요해진다.
• 강화학습을 둘러싼 관심의 부침을 겪은 사람의 관점도 흥미롭다. 2018년 무렵 브라우저에서 게임을 하는 에이전트를 시연하던 단계에서, 지금은 텍스트를 넘어 영상과 멀티모달, 로보틱스로 상호작용 대상이 넓어졌다는 것이다.

자주 묻는 질문

관련 AI 소식