DEIM 객체 탐지: DETR 느린 학습 수렴을 2배로 끌어올린 학습 프레임워크

핵심 메시지

• DETR은 CNN 특징을 트랜스포머에 넣어 경계 상자와 클래스를 예측하는 객체 탐지 구조지만, 객체 쿼리를 처음부터 학습해야 하고 트랜스포머가 이미지에 비효율적이라 학습·추론이 느리다.
• RT-DETR은 합성곱과 트랜스포머를 섞은 하이브리드 인코더와 인코더 출력으로 초기화한 객체 쿼리로 실시간 추론을 가능하게 했고, D-FINE은 경계 상자를 분포로 예측하고 자기 증류를 써 정확도와 지연 모두를 개선했다.
• DETR 계열의 일대일 헝가리안 매칭은 후처리(NMS)를 없애주지만, 한 객체에 쿼리 하나만 대응해 학습 신호가 희박(sparse)해지고 수렴이 느려지는 문제가 있다.
• DEIM은 모자이크·믹스업 증강으로 한 이미지 안 객체 수를 늘려 더 많은 객체 쿼리가 양의 감독 신호를 받게 하는 '밀집 일대일 매칭'으로 수렴을 약 2배 빠르게 한다.
• 밀집 매칭이 만드는 저품질 매칭을 바로잡기 위해 DEIM은 신뢰도와 실제 겹침(IoU)이 어긋날 때 손실을 키우는 '매칭 인식 손실'을 도입해 학습을 더 안정적으로 만든다.

쉽게 이해하기

2017년 언어 번역을 위해 등장한 트랜스포머는 이후 이미지를 패치로 쪼개 처리하는 방식으로 확장되며 분류와 객체 탐지에도 쓰이게 됐다. DETR은 이미지를 CNN에 통과시켜 얻은 특징을 트랜스포머에 넣고, '객체 쿼리'라는 학습 가능한 자리표시자를 통해 경계 상자와 클래스를 한 번에 예측한다.

문제는 속도였다. 트랜스포머는 애초에 이미지를 위해 설계되지 않아 처리 효율이 낮고 입력 크기에 대해 계산량이 제곱으로 늘어난다. 게다가 객체 쿼리를 처음부터 학습해야 해 수렴이 느리다. 이를 완화한 RT-DETR은 합성곱과 트랜스포머를 결합한 하이브리드 인코더를 쓰고, 객체 쿼리를 인코더 출력으로 초기화해 밀리초 단위 실시간 추론을 달성했다.

비슷한 시기에 나온 D-FINE(디파인)은 경계 상자를 픽셀 단위로 확정하는 대신 '분포'로 예측해 가장자리를 세밀하게 조정하고 불확실성을 함께 모델링한다. 또 뒤쪽 계층이 앞쪽 계층을 가르치는 자기 증류로 수렴을 앞당겨, 정확도와 지연 모두에서 RT-DETR이나 YOLO 계열을 앞선다고 영상은 설명한다.

DETR 계열의 핵심은 예측 상자와 정답을 일대일로 짝짓는 헝가리안(이분) 매칭이다. 덕분에 겹친 상자를 지우는 후처리(NMS)가 필요 없지만, 한 객체에 쿼리 하나만 책임지게 되어 역전파되는 신호가 희박해지고 학습이 오래 걸린다.

2025년 등장한 DEIM은 이 문제를 학습 프레임워크로 해결한다. 모자이크(같은 이미지를 2x2 격자로) 증강으로 한 장 안 정답 객체 수를 늘리면, 더 많은 객체 쿼리가 양의 감독을 받아 기울기 흐름이 촘촘해지면서도 일대일 매칭은 유지된다. 다만 밀집 매칭은 신뢰도는 높지만 겹침이 나쁜 저품질 매칭을 만들어내는데, DEIM은 신뢰도와 IoU가 어긋나면 손실을 키우는 '매칭 인식 손실'로 이를 교정해 수렴을 약 2배 빠르고 안정적으로 만든다.

주요 인사이트

• 객체 탐지의 발전은 새 백본이 아니라 '학습 신호를 어떻게 배분하느냐'의 문제로 옮겨가고 있다. DEIM의 핵심 기여는 구조 변경이 아니라 매칭과 손실 설계다.
• 일대일 매칭은 후처리를 없애 배포를 단순하게 하지만 감독 신호를 희박하게 만든다. DEIM은 증강으로 정답 객체 수 자체를 늘려, 후처리 없는 이점을 지키면서 신호 밀도를 회복한다.
• 신뢰도와 실제 겹침(IoU)이 어긋나는 '자신 있게 틀린' 예측은 기존 손실에서 오히려 작은 벌점을 받아 방치된다. 매칭 인식 손실은 이 어긋남에 큰 손실을 줘 네트워크가 반드시 교정하도록 강제한다.
• DEIM은 특정 모델이 아니라 DETR 계열에 얹을 수 있는 학습 프레임워크라, 비슷한 크기의 모델에서 학습 비용을 줄이면서 성능을 끌어올릴 수 있다.

자주 묻는 질문

관련 AI 소식