vLLM-Omni로 만든 서비스형 영상 생성 — 레드햇이 공개한 멀티모달 추론 스택 실험기

핵심 메시지

• 텍스트 중심이던 vLLM 추론 서버를 이미지·오디오·영상까지 확장한 vLLM-Omni로, 레드햇이 '서비스형 영상 생성' 시제품을 만들었다.
• 핵심 설계는 파이프라인과 스테이지다. 인코더가 입력을 이해하고, 자기회귀 모델이 요청을 해석하며, 확산 계열 생성기가 결과물을 만든다.
• OpenAI 호환 API를 그대로 쓰기 때문에 서버는 옵션 하나만 붙여 띄우고, 클라이언트는 익숙한 엔드포인트로 이미지·영상을 요청할 수 있다.
• 오픈웨이트 영상 모델은 인상적이지만 한계도 뚜렷했다. 움직임이 슬라이드쇼처럼 끊기고, 프롬프트가 복잡할수록 결과가 나빠지는 현상이 반복됐다.
• 가장 큰 과제는 성능이 아니라 운영이다. 모델별 노드로 요청을 라우팅하는 방법, 급하게 복사된 코드가 쌓는 기술 부채, 어느 시점을 릴리스로 삼을지가 남았다.

쉽게 이해하기

레드햇 CTO 오피스의 리카르도 노리에가와 AI 엔지니어링 팀의 더그 스미스가 파이토치 콘퍼런스에서 발표한 실험이다. 두 사람은 텍스트 생성을 서비스로 만드는 일은 이미 익숙해졌지만 영상은 어떤지 확인하려고, vLLM-Omni와 오픈웨이트 영상 모델 LTX-2로 영상 생성 스택을 직접 세워 봤다. 발표는 무엇이 됐고 무엇이 깨졌는지, 그리고 처음 기여자로서 겪은 경험을 함께 다룬다.

vLLM은 파이토치 위에 얹힌 고성능 추론 서버로, 토큰을 하나씩 만들어 다시 입력으로 넣는 자기회귀 모델에 최적화돼 있다. 지난해 말 공개된 vLLM-Omni는 여기서 한 걸음 나아가 이미지·오디오·영상처럼 다른 종류의 결과물을 만드는 모델까지 다룬다. 자기회귀가 아닌 확산 모델을 함께 굴려야 하는데, 같은 범주 안에서도 모델 구조가 제각각이라는 점이 어려움이다.

그래서 vLLM-Omni는 파이프라인과 스테이지라는 틀을 택했다. 음성 인식용 위스퍼 같은 인코더가 입력을 받고, 자기회귀 백본이 사용자의 요청을 이해하며, 마지막에 확산 모델이나 확산 트랜스포머 같은 생성기가 결과물을 만든다. 모델 개발자는 각 단계에 맞는 자료 구조를 작성해 자신의 모델을 서버에 끼워 넣을 수 있고, 허깅페이스 라이브러리와도 매끄럽게 연결된다.

사용법은 두 갈래다. 오프라인 배치 추론에서는 입력 자료 구조를 만든 뒤 하나의 생성 메서드만 부르면 되기 때문에, 모델이 바뀌어도 파이썬 코드는 거의 같다. 온라인 서빙에서는 vLLM과 똑같은 방식으로 서버를 띄우되 옵션 하나만 더 붙이고, 클라이언트는 채팅 완성이나 이미지 생성 같은 OpenAI 호환 엔드포인트를 쓴다. 이미지 생성 결과는 base64로 인코딩된 문자열로 돌아오므로 디코딩해 파일로 저장하면 된다. 모델 지원 폭도 넓어 알리바바의 큐원 옴니는 공개 당일부터 지원됐고, 큐원 이미지와 바이트댄스의 베이글 등 30개가 넘는 모델이 올라와 있다.

발표자들은 멀티모달 모델을 세 갈래로 분류했다. 여러 인코더와 두 개의 자기회귀 모델을 두어 하나는 요청을 추론하고 다른 하나는 생성기에 넘길 임베딩을 만드는 형태, 자기회귀 모델 하나만 두되 프리필 단계에서 임베딩을 만들어 넘기거나 프리필과 디코드를 함께 처리하는 형태, 그리고 이해와 생성이 KV 캐시를 공유하는 통합형이다. 마지막 유형은 단계를 떼어내기 어렵지만 최근 흐름에 가깝다는 평가다. 한편 vLLM-Omni가 vLLM과 맞물리는 방식은 아직 정돈되지 않아, 별도의 패치 파일에서 엔진 코어와 임베딩 모듈 등을 자체 구현으로 덮어쓰는 몽키패칭에 의존한다.

실제 결과물은 냉정하게 소개됐다. 텍스트에서 영상을 만들거나 이미지에서 영상을 만드는 두 방식 모두 동작했지만, 움직임이 이어지지 않고 장면이 넘어가는 슬라이드쇼 현상이 가장 두드러졌다. 발표자는 프롬프트를 복잡하게 쓸수록 결과가 나빠져 계속 단순하게 줄여야 했고, 영상이 길어지면 팔다리가 늘어지듯 뭉개지는 문제와 음악 품질의 아쉬움도 언급했다. 커뮤니티에 올라오는 잘 고른 결과가 아니라 실제로 써 보며 겪은 그대로를 보여준 셈이다.

반면 개발 속도는 놀라웠다. 발표를 준비하기 시작했을 때만 해도 영상 생성 엔드포인트조차 없는 백지 상태였는데, 자료를 모으는 사이 LTX-2 지원과 텍스트-영상 엔드포인트, ComfyUI 노드, 비동기 영상 서빙까지 이미 구현돼 있었다. 그는 합의를 기다리며 회의를 반복하던 기존 오픈소스 경험과 대비된다며, 무언가 기여하고 싶다면 합의를 기다리지 말고 풀 리퀘스트부터 올려 보라고 권했다. 다만 남은 과제도 분명하다. 배포 이후 여러 모델과 노드에 걸쳐 요청을 올바른 기계로 보내는 라우팅, 급하게 복사해 넣은 코드가 만들 기술 부채, 그리고 변화가 너무 빨라 '이 시점을 제품에 넣겠다'고 고를 릴리스를 정하기 어렵다는 점이다.

주요 인사이트

• 영상 생성을 '데모'가 아니라 '서비스'로 다루기 시작하면 병목이 모델 품질에서 운영으로 옮겨간다. 발표에서 가장 무겁게 다뤄진 문제도 화질이 아니라 요청 라우팅과 릴리스 기준이었다.
• vLLM-Omni가 vLLM을 몽키패칭으로 덮어쓰는 구조와, 확산 라이브러리 코드를 급히 복사해 넣는 관행은 지금은 속도를 벌어주지만 시간이 갈수록 원본과 벌어지며 부채가 된다는 점을 발표자들이 직접 지적했다.
• 오픈소스 프로젝트의 속도가 기여 방식을 바꾸고 있다. 발표 준비 몇 주 사이에 계획했던 기능이 모두 구현돼 있었고, 그래서 '합의를 기다리지 말고 풀 리퀘스트를 올려 반응을 보라'는 조언이 나왔다.
• 오픈웨이트라는 말이 곧 자유로운 사용을 뜻하지는 않는다. 발표자는 LTX-2의 성능은 높이 평가하면서도 라이선스 조건은 아쉽다고 분명히 말했다.

자주 묻는 질문

관련 AI 소식