영상 AI 메모리 계층: TwelveLabs가 말하는 컨텍스트 그래프와 영상 이해

핵심 메시지

• 대부분의 영상 AI 시스템은 시스템적 의미의 ‘기억’이 없으며, 영상은 프레임 더미가 아니라 시공간 볼륨으로 다뤄야 한다.
• 영상을 텍스트 토큰 열로 억지로 밀어 넣으면 시공간 관계가 사라진다 — 잘못된 컨텍스트·잘못된 기억·약한 추론이라는 세 가지 문제가 생긴다.
• 검색(search)은 관련 순간을 후보로 찾아 줄 뿐이고, 기억(memory)은 개체·타임라인·근거를 코퍼스 전체에 걸쳐 보존해 다른 종류의 질문에 답한다.
• 영상 컬렉션을 순간·출현·개체·관계·코퍼스 맥락으로 잇는 ‘컨텍스트 그래프’로 표현하면, 질문마다 그래프의 다른 부분을 따라가며 구조화된 답을 얻는다.
• 핵심 원칙은 “한 번 수집하고 여러 번 추론”, 원시 정보 저장, 모든 주장에 시점 근거 부여, 의도에 맞춘 구성 가능한 메모리, 조합 가능한 API 계층이다.

쉽게 이해하기

발표자(TwelveLabs의 James Le)는 영상이 이미 과거의 보존물처럼 보이지만, 정작 오늘날의 영상 AI 시스템은 시스템적 의미의 기억을 갖고 있지 않다는 문제에서 출발한다. 많은 개발자가 영상을 여전히 이미지 더미에 자막을 붙인 프레임 단위로 다루지만, 그렇게 하면 영상을 고유하게 만드는 ‘연속성’이 사라진다. 강연은 영상을 시각·음성·소리·움직임·화면 속 글자(OCR)·카메라 전환·장면 전환·메타데이터·시간이 함께 담긴 시공간 볼륨으로 봐야 한다고 강조한다.

기존 스택의 한계는 세 가지 문제로 요약된다. 첫째, 영상을 프레임 샘플링이나 자막 추출로 텍스트 열에 밀어 넣으면 사건을 규정하는 시공간 관계를 잃는다(잘못된 컨텍스트). 둘째, 텍스트 시스템의 기억은 벡터 검색이나 더 긴 컨텍스트 창을 뜻하지만, 영상 기억은 오늘의 장면을 다른 파일·에피소드·카메라 각도·시즌·연도의 장면과 잇는 지속적 연속성을 요구한다(잘못된 기억). 셋째, 텍스트 우선 시스템은 움직임과 인과를 자연스럽게 추론하지 못한다(약한 추론).

영상의 다섯 가지 성질은 이 복잡성을 설명한다. 의미가 앞뒤 순서에 좌우되는 시간성, 여러 양식이 섞인 멀티모달, 몇 분 안에 수많은 장면·인물·행동이 담기는 밀도, 인물이 조명·각도에 따라 달리 보이는 모호성, 그리고 항상 원본 순간으로 되짚어야 하는 비용이다. TwelveLabs의 스택은 의미 단위 청크, 멀티모달 임베딩 인코더(Marengo), 시공간 컨텍스트 저장소, 추론을 담당하는 영상 인식 언어모델(Pegasus)로 구성되며 모두 API로 제공된다.

강연의 핵심은 검색과 기억의 구분이다. 검색은 큰 라이브러리에서 관련 순간을 후보로 꺼내 주지만 연속성은 주지 않는다. 반면 기억은 개체·타임라인·근거를 코퍼스 전체에 걸쳐 보존해 “이런 것과 비슷한 걸 보여 줘”를 넘어 “이 컬렉션이 무엇을 알고 있는지 말해 줘” 같은 질문에 답한다. 출력도 단순한 시점이 아니라 구조화된 지식·타임라인·설명·조합 가능한 결과가 된다. 시간(수년치 영상을 재처리 없이 추론)과 공간(여러 카메라·시점의 근거 융합)이라는 두 확장 축이 여기서 중요해진다.

이를 위한 표현이 ‘컨텍스트 그래프’다. 맨 아래에는 시간으로 경계 지어진 순간(장면·샷)이 근거 단위로 있고, 그 위에 각 개체가 어디·언제 등장하는지의 출현, 인물·브랜드·장소·개념 같은 개체, 동시 출현 등의 관계, 그리고 컬렉션 전체의 주제·패턴·빈틈을 담는 코퍼스 맥락이 쌓인다. 질문마다 그래프의 다른 부분을 따라가며, 단순 검색은 순간으로, 개체 워크플로는 인물에서 출현으로, 서사형 질문은 시간에 걸친 관계로 이동한다.

주요 인사이트

• 메모리 계층의 다섯 원칙: (1) 한 번 수집해 여러 번 추론(데이터베이스처럼 비용을 수집 단계에서 선지불), (2) 정답이 아니라 순간·개체·출현 같은 원시 정보를 저장, (3) 모든 주장을 특정 시점에 근거로 고정, (4) 같은 영상도 워크플로마다 다른 원시 정보가 필요하므로 의도에 맞춰 구성 가능하게, (5) API 우선으로 조합 가능하게 유지.
• 정적 모델은 상태가 없고 매번 새로 시작해 단발성 답을 내지만, ‘영상 워커’는 결정적 시스템 안에서 가용 메모리를 파악하고 작업을 계획·검색·검증하며 평가까지 가능한 하네스로 동작한다.
• 데모 제품 Jockey는 2022 카타르 월드컵 영상 67편에서 골이 아닌 아슬아슬한 장면만 골라내거나 메시를 코퍼스 전체에서 추적했고, 교통 카메라 영상에서 차량을 세고 위험 상황(신호위반·아차사고)을 잡아냈으며, 5분짜리 아디다스 영상에서 광고 삽입 지점을 분류했다.
• 발표자는 TwelveLabs를 편집 도구나 컴플라이언스 제품이 아니라, 지식 저장소·구성 가능한 수집·코퍼스 요약·검색 API를 갖춘 ‘영상 인지 인프라’로 규정한다(현재 비공개 베타).

자주 묻는 질문

관련 AI 소식