비전-언어 모델 기반 이상 탐지 정리: CLIP에서 LLaVA까지, 산업 현장 적용의 현재와 한계

핵심 메시지

• 기존 시각 이상 탐지는 픽셀 같은 시각 정보만 사용해 정보가 제한적이었다. 비전-언어 모델은 '이것은 병이다', '결함 유형에는 찍힘·깨짐·오염·인쇄 불량이 있다' 같은 의미 정보를 함께 다룰 수 있다.
• 여러 모델을 같은 조건에서 비교한 MMAD 연구에서 최고 성능은 약 68% 수준에 그쳤고, 이는 사람과 비교하면 약 20% 낮은 수치다. 범용 VLM을 그대로 쓰는 데는 아직 한계가 뚜렷하다는 뜻이다.
• ICCV 2025에 발표된 Triad는 이상이 의심되는 영역을 잘라 확대해 넣고 제조 공정 정보를 텍스트로 더했다. 구성 요소별 기여도를 보면 이미지 영역 크롭이 5.2%로 가장 컸다.
• 추가 학습 없이 전문가 모델로 입력을 보강하는 방식도 있지만, 전문가를 많이 붙일수록 좋아지지는 않았다. 단순한 질문에는 오히려 혼란을 일으켜, 어떤 전문가를 쓸지 고르는 라우터를 따로 학습시켰다.
• CVPR 2025의 VERA는 질문 자체를 최적화했다. 두 에이전트가 질문 세트를 주고받으며 다듬는 방식으로, 사람이 직접 설계한 질문보다 약 5% 높은 성능을 얻었다.

쉽게 이해하기

고려대학교 김성범 교수 연구실의 DMQA 오픈 세미나에서 비전-언어 모델 기반 이상 탐지를 주제로 한 발표가 진행됐다. 시각 이상 탐지는 정상 이미지가 들어오면 정상을, 비정상 이미지가 들어오면 비정상을 출력하는 것이 목표다. 문제는 기존 연구들이 입력으로 이미지만 고려해 픽셀 수준의 시각 정보에 머물렀다는 점이다. 이를 보완하는 방법이 각 객체의 의미적 특성을 함께 고려하는 것인데, 예를 들어 해당 이미지가 병이라는 정보나 결함 유형으로 찍힘, 깨짐, 오염, 인쇄 불량 같은 종류가 존재한다는 정보를 함께 주는 식이다. 이 두 가지를 모두 다룰 수 있는 것이 이미지와 텍스트로 학습된 비전-언어 모델이다.

발표는 먼저 파운데이션 VLM의 변천사를 짚었다. 그 조상 격인 CLIP은 2021년 ICML에 발표됐고 4억 개 규모의 이미지-텍스트 쌍으로 대조 학습을 통해 훈련됐지만, 특정 과제를 직접 수행하지는 못하고 두 모달리티를 정렬하는 데 그쳤다. 2023년 마이크로소프트가 내놓은 LLaVA는 여기서 한 발 나아가 '차 색깔이 무엇이냐' 같은 지시에 문장으로 답할 수 있는 모델을 목표로 했다. 문제는 기존 데이터에 이미지와 캡션만 있어 그런 학습 데이터가 없다는 점이었는데, LLaVA는 사람이 라벨링한 캡션과 객체 바운딩 박스 정보를 대형 언어 모델에 넣어 질문과 답변 쌍을 만들게 하는 파이프라인을 제안해 약 15만 8천 개의 데이터를 확보했다. 비전 인코더는 CLIP 구조를, 텍스트 디코더는 당시 널리 쓰이던 Vicuna 구조를 쓰되 비전 인코더는 고정한 채 프로젝터와 디코더만 학습했고, 지시 데이터 없이 학습한 모델 대비 평균 성능이 거의 두 배였다. 이후 비디오 인코더를 더한 Video-LLaVA로 확장되며 영상에 대한 질문에도 답할 수 있게 됐다.

본론인 이상 탐지 연구는 세 편이 소개됐다. 첫째는 2025년 ICLR에 발표된 MMAD로, 중국 IT 기업이 수행한 비교 검증 연구다. 데이터셋과 모델 크기 등 실험 조건을 최대한 통일해 여러 산업 이상 탐지 과제에서 모델들을 비교했다. 코드가 공개되지 않은 모델 중에서는 상용 대형 모델들이, 오픈소스 중에서는 InternVL2가 가장 좋은 성능을 보였고 모델을 키우면 성능이 더 올라갔다. 다만 가장 좋은 성능도 약 68% 수준에 그쳤는데, 이는 사람의 성능과 비교하면 약 20% 차이가 나는 수치다. VLM을 그대로 산업 이상 탐지에 쓰기에는 여전히 한계가 있다는 결론이다.

그래서 이후 연구들은 VLM을 그대로 쓰기보다 개선하는 쪽을 택했다. ICCV 2025의 Triad는 이상 데이터에 대한 각 모달리티 이해도가 낮은 것을 문제로 보고, 이미지 쪽에서는 이상이 의심되는 영역을 세 개의 박스로 잘라 원본 크기로 확대한 뒤 원본을 포함한 네 장을 함께 인코딩했다. 텍스트 쪽에서는 제조 공정 정보를 추가하고, 정답을 단계별 사고 형태로 만들어 순차적 판단을 유도했다. 구성 요소별 기여도를 보면 미세 조정이 약 1.9%, 단계별 사고 기반 텍스트 고도화가 약 1%였던 반면 영역 크롭 전략은 5.2%로 가장 컸다. 이미지의 미세 영역을 보는 것이 텍스트 개선보다 훨씬 중요하다는 뜻이다. 흥미롭게도 미세 조정을 하지 않은 모델에 제조 공정 정보만 넣으면 오히려 성능이 크게 떨어졌고, 성능이 낮은 비전 전문가 모델을 쓰면 원본 이미지만 쓴 것보다 못한 결과가 나왔다.

둘째는 추가 학습 없이 전문가 모델로 입력을 보강하는 접근이다. 사람이 작성한 객체별 가이드라인에서 이상 탐지와 관련된 부분만 언어 모델로 정제해 주입하는 지식 전문가, 단계별 추론을 유도하는 추론 전문가, 비교 대조용 정상 이미지를 함께 넣는 참조 전문가 세 가지를 쓰되 항상 모두 붙이지는 않는다. 정보량이 과도하면 모델이 혼란을 겪기 때문인데, 복잡한 질문에는 많이 쓸수록 좋았지만 단순한 질문에는 일부만 쓰는 편이 나았다. 그래서 여덟 가지 조합을 모두 시험해 최적 조합을 라벨로 삼고 입력에 맞는 전문가를 고르는 라우터 네트워크를 따로 학습시켰으며, VLM을 단순히 쓴 경우 대비 5~7% 향상이 확인됐다. 셋째인 CVPR 2025의 VERA는 비디오 이상 탐지에서 질문이 너무 단순한 것을 문제로 보고 러너와 옵티마이저 두 에이전트가 검증 데이터를 기준으로 질문 세트를 주고받으며 다듬는 방식을 제안해, 사람이 직접 설계한 질문보다 약 5% 높은 성능을 얻었다. 발표는 이 연구들을 추가 학습 여부, 입력 이미지 개선, 입력 텍스트 개선이라는 세 축으로 정리하며 마무리됐다.

주요 인사이트

• 이상 탐지에서 성능을 가장 크게 끌어올린 것은 정교한 프롬프트가 아니라 이미지에서 의심 영역을 잘라 확대해 넣는 단순한 처리였다. Triad의 구성 요소별 비교에서 크롭 전략은 5.2%로 다른 요소들을 크게 앞섰다.
• 도메인 지식을 넣는다고 항상 좋아지지 않는다. 미세 조정을 거치지 않은 모델에 제조 공정 정보를 넣자 오히려 성능이 크게 떨어져, 정보를 활용할 준비가 된 모델이어야 그 정보가 의미를 갖는다는 점이 드러났다.
• 전문가를 많이 붙일수록 좋아진다는 통념도 깨졌다. 단순한 질문에 여러 전문가를 붙이면 모델이 혼란을 겪었고, 그래서 언제 무엇을 붙일지 고르는 라우터를 따로 학습시켜야 했다.
• 질문을 사람이 잘 쓰는 것보다 에이전트 두 개가 검증 데이터를 보며 다듬는 편이 나았다. 프롬프트 작성이 사람의 감각에서 최적화의 대상으로 옮겨 가고 있음을 보여 준다.
• 성능이 낮은 비전 전문가를 붙이면 원본 이미지만 쓴 것보다 결과가 나빠졌다. 보조 모델을 붙일 때 그 모델의 신뢰도부터 확인해야 한다는 실무적 교훈이다.

자주 묻는 질문

관련 AI 소식