과일 표면 결함 이상 탐지: 정상 데이터만으로 여러 과일을 하나의 검출기로 검사하기

핵심 메시지

• 기존 과일 선별 모델은 결함 픽셀을 일일이 라벨링해야 해서 비용이 크고, 새로운 결함이 나오면 클래스를 다시 정의해야 한다.
• 이 연구는 정상 과일 이미지만 학습하고 그로부터 벗어나는 부분을 결함으로 보는 이상 탐지 방식을 택했다.
• 사과·레몬·오렌지·토마토 네 가지를 하나의 기준으로 묶은 RGB 이미지 벤치마크를 새로 만들고 결함 주석을 통일했다.
• 픽셀 단위 평가에서는 정상 픽셀이 압도적으로 많아 AUROC가 아니라 AP 계열 지표를 봐야 실제 성능이 드러난다.
• 학습이 필요 없는 파운데이션 모델 특징 기반 방법이 가장 강했고, 팀이 별도로 설계한 모델은 이를 넘지 못했다.

쉽게 이해하기

서울대 강의 팀 프로젝트로 발표된 이 연구는 여러 종류의 과일을 하나의 검출기로 검사하는 문제를 다룬다. 기존의 과일 선별 연구는 대부분 지도 학습 기반이었다. 세그멘테이션 모델로 결함 픽셀을 찾아 등급을 매기는 방식인데, 결함 데이터를 모으고 픽셀 단위로 라벨을 붙이는 비용이 크고 새로운 종류의 결함이 나타날 때마다 클래스를 사람이 다시 정의해야 한다는 문제가 있다.

그래서 팀은 정상 데이터만으로 학습하는 이상 탐지로 방향을 잡았다. 정상 과일 이미지는 구하기 압도적으로 쉽고, 결함 라벨이 필요 없으며, 처음 보는 결함에도 곧바로 대응할 수 있다는 것이 장점이다. 다만 여러 과일을 한 모델로 검사하는 것은 기존에 없던 문제 설정이라 새로운 어려움이 따른다. 광택 있는 껍질의 반사광이 결함처럼 보이고, 꼭지나 꽃받침, 껍질의 기공 같은 정상 구조가 과일마다 제각각이며, 과일 간 색 차이가 커서 변색인지 원래 색인지 구분하기 어렵다. 정상의 범위를 넓게 잡으면 이런 오탐은 줄지만 진짜 결함까지 놓치는 맞교환이 크게 작동한다.

선행 연구를 보면 산업 현장의 과일 이상 탐지는 대개 단일 품목에 한정되거나 X선·초분광 같은 특수 센서에 의존했다. 일반 RGB 이미지만으로 여러 과일을 한꺼번에 다루는 벤치마크는 없었다는 것이 이 연구의 출발점이다. 팀은 네 가지 과일로 새 벤치마크를 만들면서 과일마다 다르게 붙어 있던 결함 주석을 공통 기준의 마스크로 통일했고, 대표적인 이상 탐지 계열들을 과일별로 따로 학습한 경우와 하나로 통합한 경우 모두에서 동일한 프로토콜로 비교했다.

가장 강력한 기준선은 학습이 필요 없는 방식이었다. 동결된 DINOv2 비전 트랜스포머의 패치 특징을 그대로 가져다 쓰고, 정상 과일의 패치를 메모리 뱅크에 모아 둔 뒤 테스트 패치가 그 뱅크에서 얼마나 떨어져 있는지를 거리로 재 이상 점수를 매기는 접근이다. 결함 라벨도 미세조정도 없이 정상 패치 뱅크 하나만 만들면 되고, 과일이 달라져도 그대로 옮겨 쓸 수 있다는 점이 강점이다.

팀은 이를 넘어서려 자체 모델을 설계했다. 동결된 특징 위에 작은 결함을 잡는 세밀한 층과 곰팡이처럼 큰 결함을 잡는 거친 층을 함께 쌓고, 과일 공통의 특징을 담는 공유 풀과 과일별 특성을 담는 전용 풀을 나눠 두었다. 각 과일의 패치는 자기 전용 풀과 공유 풀에만 가중치가 가도록 마스킹해 다른 과일의 프로토타입은 쓰지 않게 했다. 그러나 결과는 기대에 못 미쳤다. 기준선이 꼭지 부분을 정상으로 넘긴 반면 팀의 모델은 이를 결함으로 표시하는 등, 과일마다 다른 정상 구조를 학습으로 익히는 데 한계를 보였다.

주요 인사이트

• 라벨링 비용이 병목인 검사 문제에서는 결함을 배우게 하는 대신 정상만 배우게 하는 전환이 현실적인 해법이 된다. 처음 보는 결함에도 별도 학습 없이 반응할 수 있기 때문이다.
• 픽셀 단위 이상 탐지에서 AUROC는 정상 픽셀이 압도적으로 많아 값이 쉽게 높아진다. 실제 검출 품질을 비교하려면 AP 계열 지표를 봐야 한다는 점을 팀이 강조했다.
• 과일마다 다른 꼭지·꽃받침 같은 정상 구조가 오탐의 주된 원인이었다. 결함처럼 보이는 정상이야말로 멀티 품목 검사의 핵심 난제다.
• 잘 학습된 파운데이션 모델의 특징에 최근접 이웃 비교만 얹은 방식이, 별도로 설계하고 학습시킨 모델보다 강할 수 있다는 결과가 실험으로 확인됐다.
• 정상의 기준을 넓히면 오탐이 줄지만 진짜 결함을 놓치는 맞교환이 커진다. 이 균형점을 어디에 두느냐가 실제 선별 라인의 성능을 좌우한다.

자주 묻는 질문

관련 AI 소식