VideoChat3 논문 정리: 40억 파라미터 오픈소스 영상 AI가 실시간 이해를 푸는 법

핵심 메시지

• VideoChat3는 난징대를 중심으로 상하이 AI 연구소, 베이징대 등이 함께 공개한 영상 이해 모델로, 파라미터가 40억 개에 불과하다.
• 프레임 네 개를 한 묶음으로 압축하고 공간 정보까지 줄여 전체 16배 압축을 달성했고, 덕분에 같은 계산 예산으로 훨씬 많은 장면을 볼 수 있다.
• '침묵-대기-응답' 세 가지 상태로 언제 말할지를 스스로 판단해, 단서가 없을 때는 저해상도로 지켜보다가 중요한 순간에만 고해상도로 집중한다.
• 시간 구간 찾기 같은 특정 능력에서는 GPT-5와 제미나이 2.5 플래시를 앞섰지만, 종합 성능에서는 여전히 초거대 모델에 못 미친다.
• 가중치뿐 아니라 학습 코드와 전략, 300만 건에 가까운 데이터와 그 제작 방법까지 공개해 재현 가능성을 확보했다.

쉽게 이해하기

영상 속 장면을 보며 '화면 뒤에 뭐가 보이나요'라고 물으면, 이 AI는 관련 없는 장면이 지나가는 동안 아무 말도 하지 않는다. 그러다 답이 될 만한 장면이 나오는 순간에만 입을 연다. 저자 29명이 참여한 VideoChat3 논문의 주인공은 파라미터가 40억 개뿐인 오픈소스 영상 모델이다.

기존 영상 AI에는 세 가지 문제가 있었다. 짧은 영상에 강한 모델은 긴 영상에 약했고, 다 보고 나서 답하는 모델은 실시간으로 흘러가는 상황에 대응하지 못했다. 이미지용 모델을 영상으로 그대로 확장하면 토큰 수가 폭증해 비용이 감당하기 어려워졌다. 그리고 고성능 모델 다수가 가중치만 공개하거나 아예 비공개여서, 무엇이 성능을 만들었는지 다른 연구자가 검증할 방법이 없었다.

해법은 두 가지 설계와 하나의 원칙이었다. 첫째는 압축이다. 바로 옆 프레임끼리는 거의 같은 정보를 담고 있다는 점에 착안해, 프레임 네 개를 하나로 묶고 공간 정보까지 줄여 16배로 압축했다. 영상 길이에 따라 압축률을 유연하게 조절해 짧은 영상은 더 선명하게, 몇 시간짜리 스트림은 더 가볍게 처리한다. 둘째는 타이밍이다. 축구 중계를 보듯 평범한 구간은 저해상도로 흘려보다가 공이 골대 근처로 가면 집중하는 방식으로, 침묵·대기·응답 세 상태를 오가며 다음 구간을 얼마나 자세히 볼지 스스로 정한다.

학습 데이터도 새로 만들었다. 정답이 한 단어에 그치던 학술 데이터셋을 강력한 AI로 다시 써서 근거와 과정이 담긴 설명으로 바꾸고, 그 답이 원래 의미와 같은지 다른 AI가 한 번 더 검증해 통과하지 못한 것은 버렸다. 이렇게 만든 227만 건에, 장면 전환 지점을 찾아 구간별로 쪼갠 긴 영상 전용 11만6천 건, 근거 구간에 '대기'와 '응답' 라벨을 붙인 실시간 대응 전용 61만7천 건이 더해졌다. 마지막 학습 단계에서는 침묵해야 하는 순간이 압도적으로 많다는 점 때문에, 상태가 바뀌는 순간은 모두 학습시키고 유지되는 순간은 그만큼만 골라 균형을 맞췄다.

결과는 세 갈래로 확인됐다. 같은 몸집의 모델들과 비교했을 때 동작 이해 61.7점, 종합 시간 이해 75.6점으로 오픈소스 1위였고, 비교 모델 대비 19개 지표 중 18개에서 앞섰다. 특히 '이 장면이 언제 나오나요'를 찾는 시험에서 56.1점으로 큰 격차를 보였고, 두 시간 길이 구간 찾기에서는 GPT-5와 제미나이 2.5 플래시까지 넘어섰다. 실시간 스트리밍 이해에서는 72.3점으로 기존 최고 기록보다 12.4점 높았다. 속도 면에서도 같은 프레임 수를 처리할 때 영상 토큰이 정확히 절반이라, 프레임이 2048개일 때 처리 시간이 44.4초에서 20.4초로 줄었다.

다만 논문은 한계도 함께 밝힌다. 프레임이 256개처럼 적을 때는 오히려 비교 모델보다 살짝 느리고, 종합 성능에서는 초거대 모델에 미치지 못하며, 일부 세부 지표에서는 트레이드오프가 있었다. 그럼에도 의미가 큰 것은 작은 모델로 이 결과를 냈다는 점, 그리고 그 방법을 처음부터 끝까지 공개해 다음 연구자가 그대로 검증하고 개선할 수 있게 했다는 점이다.

주요 인사이트

• 성능이 오른 진짜 이유는 압축 기술 자체가 아니라, 압축한 만큼 같은 예산으로 더 많은 프레임을 볼 수 있게 된 데 있다. 압축 방식만 바꿨을 때 영상 시험 평균이 43.9점에서 51.4점으로 올랐지만 이미지 시험 점수는 거의 그대로였다.
• '언제 답할지'는 따로 가르쳐야 하는 능력이다. 실시간 대응 데이터를 넣기 전과 후를 비교하면 타이밍 정확도가 4.0점에서 35.5점으로 약 아홉 배 뛰었다.
• 무작정 전부 학습시키면 AI는 '일단 조용히 있기'만 배운다. 반대로 전환 순간만 학습시키면 아무 때나 답해 정밀도가 떨어졌고, 균형을 맞춘 방식만 제대로 작동했다.
• 범용으로 만든 모델이 타이밍 측정 시험에서 해당 시험만을 위해 만들어진 특화 모델보다 높은 점수를 받았다.
• 완전 공개는 성능 수치와 별개의 가치를 갖는다. 학습 코드와 데이터 제작 방법까지 열어야 다른 연구자가 무엇이 성능을 만들었는지 검증할 수 있다.

자주 묻는 질문

관련 AI 소식