약지도 비디오 이상탐지 정리: MIL 랭킹에서 CLIP-TSA, VadCLIP, DSANet까지

핵심 메시지

• 약지도 비디오 이상탐지는 영상 전체가 정상인지 이상인지만 아는 상태에서 실제 이상이 일어난 시간 구간을 찾아내는 문제다.
• 2018년 CVPR 연구는 이 문제를 다중 인스턴스 학습으로 정식화해, 이상 영상의 최고 점수 구간이 정상 영상의 최고 점수 구간보다 항상 높아지도록 학습하는 MIL 랭킹 손실을 제안했다.
• CLIP-TSA는 행동 인식 위주의 C3D 특징 대신 CLIP 이미지 특징을 쓰고, 시간적 어텐션과 상위 k개 선택으로 여러 의심 구간을 함께 학습한다.
• VadCLIP은 CLIP의 텍스트 인코더까지 활용해 정상·이상 판정과 사건 종류 분류를 두 개의 브랜치로 동시에 수행한다.
• DSANet은 영상 내부의 정상 패턴을 직접 학습하고 사건과 배경을 분리해, 폭발과 방화처럼 시각적으로 닮은 범주가 헷갈리는 문제를 줄인다.

쉽게 이해하기

고려대 산업경영공학부 DMQA 연구실의 공개 세미나에서 다룬 주제는 비디오 이상탐지, 그중에서도 라벨이 부족한 상황을 다루는 약지도 방식이다. 발표는 용어 정리부터 시작한다. 이미지 한 장이 프레임, 프레임 여러 장을 시간 단위로 묶은 것이 세그먼트, 세그먼트가 모여 하나의 영상이 된다. 학습은 보통 세그먼트 단위로 이뤄지고 평가는 프레임 단위로 이뤄진다.

이 분야에는 세 가지 학습 방식이 있다. 프레임마다 정상·이상 라벨을 붙여 학습하는 완전 지도 방식은 정확하지만 라벨링 비용이 감당하기 어렵고, 정상 영상만 학습해 그와 다른 것을 이상으로 보는 원클래스 방식은 실제 이상 패턴을 배우지 못해 성능이 떨어진다. 그 사이에서 나온 절충안이 영상 단위 라벨만 쓰는 약지도 방식이다. 어떤 영상에 이상이 들어 있다는 사실은 알지만 몇 번째 구간인지는 모르는 상태에서 시작한다.

2018년 연구는 이 상황을 열쇠 꾸러미에 비유해 설명할 수 있는 다중 인스턴스 학습으로 바꿔 놓았다. 문이 열린 꾸러미와 열리지 않은 꾸러미를 비교하면 개별 열쇠의 정답을 몰라도 어떤 열쇠가 문을 여는지 추론할 수 있다는 논리다. 실제 구현에서는 영상을 32개 세그먼트로 나눠 각각의 이상 점수를 구한 뒤, 이상 영상에서 가장 점수가 높은 세그먼트가 정상 영상에서 가장 점수가 높은 세그먼트보다 항상 높은 값을 갖도록 제약을 건다. 다만 이 방식은 가장 두드러진 한 구간에만 학습이 집중되고, 사용한 C3D 특징이 행동 인식 중심이라 같은 뛰는 동작이 축구인지 도주인지 구분하는 맥락을 담기 어려웠다.

이후 연구는 두 한계를 차례로 공략한다. CLIP-TSA는 이미지와 텍스트 관계를 대규모로 학습한 CLIP의 이미지 인코더로 세그먼트 특징을 뽑아 장면과 객체의 의미를 반영하고, 시간적 어텐션으로 흐름을 본 뒤 상위 k개의 의심 구간을 함께 고른다. VadCLIP은 여기서 쓰지 않던 텍스트 인코더를 끌어와, 시간 관계를 보완하는 어댑터와 함께 두 갈래 브랜치를 둔다. 한쪽은 영상이 정상인지 이상인지를 판정하고, 다른 한쪽은 '폭발', '절도' 같은 범주 이름을 텍스트 특징으로 만들어 영상 특징과 맞춰 보며 어떤 종류의 사건인지까지 예측한다.

가장 최근 흐름인 DSANet은 남은 두 가지 약점을 짚는다. 하나는 무엇이 정상인지를 모델이 명시적으로 배우지 못한다는 점이다. 이상 점수가 낮은 프레임을 정상 후보로 골라 그 영상 고유의 정상 패턴을 만들고, 그 패턴으로 원래 특징을 복원해 보아 복원 오차가 크면 이상으로 판단한다. 다른 하나는 불과 연기라는 공통 요소를 가진 폭발과 방화처럼 시각적으로 닮은 범주가 섞이는 문제다. 이를 위해 영상 특징을 사건 중심과 배경 중심의 두 대표 특징으로 분리하고 각각을 사건 범주 텍스트와 정상 텍스트에 맞춘다. 실험은 UCF-Crime과 XD-Violence 두 데이터셋에서 이뤄졌고, 정상·이상 구분은 AUC와 AP로, 사건 종류까지 맞히는 세밀한 탐지는 겹침 비율 기준의 mAP로 평가해 각각 기존 방법을 앞섰다.

주요 인사이트

• 라벨링 비용을 줄이는 방향의 연구가 결국 모델 구조 자체를 바꿔 놓았다. 영상 단위 라벨만 쓰겠다는 제약이 다중 인스턴스 학습이라는 정식화를 불러왔다.
• 같은 동작이라도 축구 경기인지 도주 장면인지에 따라 해석이 달라진다는 지적은, 행동 인식 특징만으로는 이상탐지가 성립하지 않는 이유를 잘 보여준다.
• CLIP 도입의 효과는 시각 특징 교체에서 끝나지 않았다. 텍스트 인코더를 함께 쓰면서 '이상인가'를 넘어 '어떤 이상인가'를 묻는 과제로 문제 자체가 확장됐다.
• 이상을 잘 찾으려면 정상을 잘 정의해야 한다는 DSANet의 접근은, 이상탐지가 결국 정상성 모델링 문제라는 오래된 통찰을 최신 구조로 되살린 사례다.
• 성능 향상이 한 모듈 덕분이 아니라 텍스트 특징 보정, 정상 패턴 학습, 사건과 배경 분리가 함께 작동한 결과라는 점은 절제 실험으로 확인됐다.

자주 묻는 질문

관련 AI 소식