UniSpector 논문 리뷰: 재학습 없이 새로운 제조 불량을 찾는 오픈셋 결함 탐지 기술

핵심 메시지

• 제조 현장의 결함 탐지 모델은 학습한 불량만 잡는 클로즈드셋 방식이라, 새 불량이 나오면 데이터 수집·라벨링·재학습을 다시 거쳐야 한다.
• UniSpector는 예시 이미지를 프롬프트로 넣는 비주얼 프롬프팅 방식으로, 한 번 학습한 모델이 재학습 없이 새로운 결함까지 다루도록 설계됐다.
• 핵심 진단은 '프롬프트 임베딩 붕괴'다. 같은 불량이 임베딩 공간에서 멀리 흩어지고 다른 불량끼리는 뒤섞여 구분력이 사라지는 현상이다.
• 해법은 세 가지다. 푸리에 변환과 반경 평균으로 방향에 둔감한 주파수 특징을 만들고, 각도 마진 대조 손실로 임베딩 공간을 구조화하며, 프롬프트와 닮은 영역을 오브젝트 쿼리로 골라낸다.
• 클래스당 예시 이미지 세 장 정도면 성능이 포화된다는 점이 현장 관점에서 특히 중요하다.

쉽게 이해하기

서울대학교 산업공학과 DSBA 연구실의 장진우 석사과정이 LG에너지솔루션 연구진의 논문 'UniSpector: Universal Open-set Defect recognition via Spectral Contrastive Visual Prompting'을 발표했다. 발표자는 이 논문을 CVPR 2026에 게재된 연구로 소개하며, 실제 비주얼 인스펙션을 다루는 현업 연구자들이 쓴 만큼 현장 적용에 대한 고민이 담겨 있다는 점을 소개 이유로 들었다.

출발점은 클로즈드셋 모델의 한계다. 학습한 결함만 탐지하는 모델은 새로운 불량이 나타나면 정상으로 오판하거나 기존 클래스 중 하나로 잘못 분류하고, 대응하려면 데이터를 다시 모아 라벨링하고 재학습해야 한다. 그런데 제조 현장에서는 공정 조건과 설비 상태, 환경 변화에 따라 없던 형태의 불량이 계속 생기고 판정 기준 자체도 운영 중에 바뀐다. 결함 유형을 사전에 전부 정의해두는 건 사실상 불가능하다는 것이 발표의 전제다.

재학습 없이 새 결함을 다루는 방법으로는 프롬프트가 쓰인다. 그런데 산업 결함은 미세한 스크래치나 배경과 거의 같아 보이는 눌림 얼룩처럼 전문가조차 말로 정의하기 어려워, 텍스트보다 결함 이미지를 예시로 넣는 비주얼 프롬프팅이 대안으로 떠올랐다. 논문이 짚은 문제는 이 방식에서 나타나는 '프롬프트 임베딩 붕괴'다. 같은 스크래치라도 방향과 각도가 달라 다른 클래스로 흩어지는 클래스 내 분산, 그리고 눌림과 오염처럼 다른 결함이 둘 다 동그란 형태로 보여 뒤섞이는 클래스 간 유사성이 원인으로 지목됐다.

해법은 세 모듈이다. 공간-주파수 프롬프트 인코더는 결함 패치에 2D 푸리에 변환을 적용한 뒤 중심에서 같은 거리의 값을 평균 내는 반경 평균으로 1차원 스펙트럼을 얻는데, 이미지를 회전시켜도 크기 정보만 남기 때문에 방향에는 둔감하고 미세 질감에는 민감한 특징이 만들어진다. 대조 프롬프트 인코딩은 ArcFace 계열의 각도 마진 손실로 같은 결함끼리는 각도를 좁히고 다른 결함끼리는 최소한의 간격을 강제한다. 프롬프트 기반 쿼리 선택은 프롬프트 프로토타입과 유사도가 높은 상위 K개 토큰을 오브젝트 쿼리로 삼되, 미분이 불가능한 선택 연산을 스트레이트 스루 추정기와 검벨 노이즈로 우회한다.

실험을 위해 논문은 기존 산업 결함 데이터셋 일곱 개를 통합한 벤치마크 'Inspect Anything'도 함께 제안했다. 약 6만7천 장의 이미지와 8만3천여 개의 결함 인스턴스, 360개 결함 카테고리로 구성되며, 학습은 H100 두 장에 Swin Transformer 백본, 720×720 이미지, 클래스당 다섯 장의 프롬프트 조건으로 이뤄졌다. 텍스트 프롬프트 기반 모델은 크로스 도메인에서 거의 0에 가까운 성능을 보였고, 모든 결함을 학습시킨 클로즈드셋 조건에서도 기존 비주얼 프롬프팅 모델이 20~30%대에 머문 반면 UniSpector는 90%대를 기록했다. 모듈을 하나씩 더할 때마다 성능이 단계적으로 올랐고, 클래스당 프롬프트 세 장 정도면 성능이 빠르게 포화됐다.

주요 인사이트

• 이 연구의 실용성은 정확도 수치보다 '프롬프트 세 장이면 충분하다'는 결과에 있다. 현장에서는 새 불량의 고품질 샘플을 많이 모으는 것 자체가 어렵기 때문이다.
• 픽셀 공간에서 같은 결함이 회전만으로 완전히 달라 보이는 문제를, 주파수 영역의 반경 평균이라는 고전적인 신호처리 기법으로 푼 접근이 인상적이다. 새 구조를 얹기 전에 데이터의 물리적 성질을 먼저 활용한 사례다.
• 특징을 잘 뽑는 것과 임베딩 공간을 구조화하는 것이 별개의 문제라는 점을 어블레이션이 분명히 보여준다. 두 모듈 모두 단독으로도 성능을 크게 올렸다.
• 발표자는 반경 평균이 방향 정보를 지운다는 점을 한계로 짚는다. 나무나 금속판처럼 일정한 결이 있는 소재에서 결과 같은 방향으로 난 스크래치를 구분해야 할 때는 오히려 정보를 잃을 수 있다.
• 배터리나 반도체처럼 초고속 인라인 검사가 필요한 공정에서는 추론 속도가 채택의 관건인데, 논문에 추론 시간 분석이 빠져 있다는 지적도 함께 나왔다.

자주 묻는 질문

관련 AI 소식