STORM 논문 해설: 토큰 8배 절감으로 긴 영상 이해하는 멀티모달 LLM

핵심 메시지

• 지금의 영상 언어 모델은 모든 프레임을 낱낱이 넣는 방식이라, 비슷한 프레임이 거의 동일한 토큰을 만들어내 입력에 중복이 넘친다.
• STORM은 언어 모델에 넘기는 영상 토큰 수를 크게 줄이면서도 추론 성능은 오히려 높이는 새로운 영상 LLM이다.
• 핵심은 비전 트랜스포머 뒤, LLM 앞에 양방향 맘바(Mamba) 층을 두어 각 토큰에 영상 전체의 시간 맥락을 녹여 넣는 것이다.
• 맥락이 녹아든 뒤 토큰을 평균내어 압축하고, 추론 시에는 한 프레임 건너 하나씩만 남겨 총 8배의 시퀀스 길이 절감을 달성한다.
• 그 결과 STORM은 최대 2시간 길이 영상 벤치마크(MLVU)에서 GPT-4o와 기존 오픈소스 모델을 앞서며, 최대 8배 효율·약 3.4배 빠른 응답을 보였다.

쉽게 이해하기

영상 LLM을 학습시키는 현재 방식은 사실상 실패를 예고한다는 문제의식에서 출발한다. 필름 릴의 모든 프레임을 기억하라는 것처럼 모든 프레임을 온전히 넣기 때문이다. 프레임들은 서로 비슷한 정보를 담고 거의 같은 토큰을 만들어내므로 입력 곳곳에 중복이 생기고, 위치 인코딩이 시간적 추론의 부담을 떠안게 되며, 모델은 '무엇이 언제, 어떤 순서로 일어났는지'를 잘 구분하지 못한다.

STORM의 아이디어는 '줄거리를 잃지 않고 영상을 압축하는 것'이다. 대부분의 영상에서 프레임은 이전 프레임에서 조금씩만 변하므로, 굳이 매 프레임을 완전히 새로운 것으로 취급할 필요가 없다. STORM은 비전 트랜스포머가 프레임을 토큰으로 바꾼 뒤, LLM에 닿기 전에 모든 이미지 토큰을 맘바 층에 통과시킨다.

맘바는 긴 시퀀스를 효율적으로 처리하도록 만들어진 상태공간 모델(SSM)로, 여기서는 양방향으로 쓰인다. 앞으로 한 번, 뒤로 한 번 영상 시퀀스를 훑어 각 토큰에 앞뒤 프레임의 맥락을 채워 넣는다. 이렇게 시간 맥락이 토큰에 새겨지면, STORM은 같은 위치의 네 프레임 벡터를 평균내는 시간적 다운샘플링으로 시퀀스 길이를 1/4로 줄인다.

추론 시에는 맘바 층에서 나온 프레임 중 한 프레임 건너 하나씩만 남겨 추가로 절반을 줄인다. 이로써 총 8배의 시퀀스 길이 절감이 이뤄지고, 재학습은 필요 없다. 구조적으로 STORM은 SigLIP 비전 트랜스포머(프레임당 256 토큰), 차원 축소를 위한 선형 투영, 맘바 층, 그리고 Qwen2-VL 언어 모델을 결합한다.

학습은 사전학습된 모듈을 활용한다. 비전 트랜스포머와 언어 모델은 이미 학습돼 있고, 처음부터 학습되는 것은 맘바 층뿐이다. 먼저 이미지-텍스트 데이터로 정렬 학습을 하고, 이어 텍스트·이미지-텍스트·영상-텍스트가 섞인 1250만 샘플로 전체를 지도 미세조정하며, 긴 영상을 위해 128프레임 클립으로 추가 학습한다.

주요 인사이트

• 영상은 프레임 간 정보 중복이 크다는 점이 비효율의 근원이다. STORM은 이 중복을 '삭제'하는 대신, 맥락을 토큰에 녹인 뒤 평균으로 '증류'해 정보 손실을 최소화한다.
• 순서가 중요하다. 먼저 양방향 맘바로 전역 시간 맥락을 각 토큰에 넣은 다음 압축하기 때문에, 토큰 수를 줄여도 '무엇이 언제 일어났는지'가 보존된다.
• 압축이 곧 성능 저하는 아니다. 압축 없는 동일 구조 기준선(맘바·평균·샘플링 제거)은 MVBench 69.5·MLVU 70.2였는데, 8배 적은 토큰을 쓴 STORM이 오히려 근소하게 더 높은 점수를 냈다.
• 효율의 이득은 비용과 속도로 나타난다. LLM이 처리할 토큰이 8배 줄어 연산이 크게 감소하고, 사용자 응답 대기는 약 3.4배 짧아졌다. 속도 향상이 8배가 아닌 이유는 비전 트랜스포머와 맘바 층 처리 시간이 남기 때문이다.
• 시간 압축과 공간 압축은 트레이드오프다. 저자들은 세밀한 시각 정보를 지키려 대부분 실험에서 공간 다운샘플링을 생략하고 시간 압축에 집중했다.

자주 묻는 질문

관련 AI 소식