스트리밍 영상 이해, 캡션을 색인으로 쓰는 검증 구조: 서울대 수업 프로젝트 발표 정리

핵심 메시지

• 스트리밍 환경에서는 질문이 한참 뒤에 도착하기 때문에, 어떤 정보가 필요할지 모르는 상태에서 메모리를 만들어야 한다.
• 발표팀은 캡션을 정답 저장소가 아니라 관련 구간을 찾아내는 색인으로만 쓰자고 제안했다.
• 메모리 항목은 캡션, 타임스탬프·OCR 같은 메타데이터, 실제 영상 위치를 가리키는 포인터 세 가지로 구성된다.
• 언어모델이 캡션만 보고 만든 임시 답변을 비디오 모델이 실제 화면과 대조해 유지·수정·재작성한다.
• 같은 백본만 썼을 때 48% 수준이던 스트리밍 벤치마크 정확도가 9%포인트 넘게 올랐다고 보고했다.

쉽게 이해하기

영상 질의응답은 보통 질문과 영상을 함께 놓고 푼다. 그런데 스트리밍 환경에서는 순서가 뒤바뀐다. 영상을 먼저 흘려보내며 기억을 쌓아두고, 질문은 훨씬 나중에 도착한다. 발표팀은 이 순서 차이가 문제의 본질이라고 짚었다. 메모리를 만드는 시점에는 앞으로 어떤 질문이 올지, 그래서 어떤 정보를 남겨야 할지 알 수 없기 때문이다.

기존 연구들은 과거 시각 정보를 압축해 저장했다가 질문이 오면 필요한 부분만 불러오는 방식을 택해 왔다. KV 캐시, 리커런트 메모리, 캡션 메모리 같은 구조가 여기에 해당한다. 그중에서도 캡션 메모리는 각 구간을 자연어 문장으로 저장하기 때문에 용량이 작고, 시간순 정렬이 쉬우며, 텍스트 검색으로 장면을 빠르게 찾을 수 있어 널리 쓰인다.

문제는 캡션이 요약이라는 점이다. 발표에서 든 예시처럼 '차가 지나간다'라는 캡션만 남아 있으면, 나중에 '그 차가 무슨 색이었나'라는 질문에 답할 근거가 사라진다. 색상, 개체 수, 화면 속 글자, 공간·시간 관계 같은 세부 정보가 요약 과정에서 잘려 나가기 때문이다. 발표팀은 여기서 캡션의 역할을 다시 정의한다. 캡션은 답을 담는 그릇이 아니라, 답이 있을 만한 구간을 가리키는 색인이어야 한다는 것이다.

구조는 네 단계로 이어진다. 영상 구간이 들어올 때마다 캡션·메타데이터·포인터로 이루어진 메모리 항목을 쌓고, 질문이 오면 키워드나 임베딩 검색으로 관련 항목을 고른다. 그다음 언어모델이 캡션과 메타데이터만 보고 '우산은 파란색이다' 같은 임시 답변을 만든다. 이 임시 답변은 아직 화면을 확인하지 않은 가설일 뿐이다. 마지막으로 포인터를 따라 실제 프레임을 불러온 뒤, 비디오 모델이 검증자 역할을 맡아 가설이 맞으면 유지하고, 화면과 어긋나면 고치고, 근거를 찾을 수 없으면 화면만 보고 새로 답한다.

실험에서는 질문 시점 이전 장면만 쓸 수 있도록 설계된 스트리밍 벤치마크가 사용됐다. 같은 백본 모델만 썼을 때 48% 남짓이던 정확도가 이 구조를 얹자 9%포인트 넘게 올랐고, 오프라인 벤치마크에서도 비교 대상 중 가장 높거나 비슷한 수준을 유지했다. 캡션을 정답으로 쓴 경우와 색인으로 쓴 경우를 갈라 본 실험에서는 약 7%의 차이가 났다.

주요 인사이트

• 요약은 검색에는 충분하지만 판단에는 부족하다. 캡션을 색인과 근거 중 어느 쪽으로 볼 것인지가 성능 차이로 곧장 이어졌다.
• 메모리에 원본 대신 원본의 '주소'를 남기는 설계는 저장 비용을 낮추면서도 필요할 때 세부 정보를 되찾을 여지를 남긴다.
• 언어모델이 먼저 가설을 세우고 비디오 모델이 검증하는 분업은, 처음부터 화면을 보고 답을 만드는 방식보다 효율적일 수 있다는 가정 위에 서 있다.
• 발표팀은 한계도 분명히 밝혔다. 백본 하나로만 실험했고, 반복 실험 없이 단일 결과를 보고했으며, 지연 시간이나 연산 비용 같은 효율성 수치를 제시하지 못했다.
• 질의응답에서 지적됐듯 포인터가 잘못된 구간을 가리키면 답을 찾을 방법이 없다. 색인 방식의 성능은 검색 정확도에 그대로 묶여 있다.

자주 묻는 질문

관련 AI 소식