트랜스포머 vs YOLO 객체 탐지: DETR, RT-DETR, YOLOv10까지 정리

핵심 메시지

• YOLO는 이미지를 한 번만 통과시켜 경계 상자와 클래스를 동시에 예측하는 빠른 객체 탐지 모델이다.
• 트랜스포머 기반 DETR는 객체 탐지를 '집합 예측' 문제로 보고, 겹치는 상자를 제거하는 NMS 후처리를 없앴다.
• 초기 DETR는 학습 시간이 길고 추론이 느려 YOLO의 속도를 따라가지 못했다.
• 2024년 RT-DETR가 속도와 정확도 모두에서 YOLO를 앞서며 실시간 트랜스포머 탐지의 가능성을 보여줬다.
• YOLO는 사라지지 않고 DETR의 아이디어(1대1 매칭 등)를 흡수해 YOLOv10처럼 NMS 없이 더 빨라졌다.

쉽게 이해하기

객체 탐지는 이미지에서 물체의 위치를 경계 상자로 잡고 그것이 무엇인지 분류하는 작업이다. 2010년대에는 후보 영역을 만들어 단계적으로 처리하는 R-CNN 계열과, 이미지를 한 번에 통과시키는 YOLO 계열이 주류였다. R-CNN은 초기엔 한 장 추론에 50초가 걸릴 만큼 느렸지만 Fast·Faster R-CNN을 거치며 초당 다섯 프레임 수준까지 빨라졌다.

YOLO는 'You Only Look Once'라는 이름 그대로 이미지를 한 번만 신경망에 통과시켜 여러 경계 상자와 클래스 확률을 얻고, 마지막에 겹치는 상자를 NMS(비최대 억제)로 정리한다. 초당 수십에서 155프레임까지 처리할 만큼 빨랐지만, 정확도는 R-CNN보다 다소 낮아 속도와 성능 사이의 트레이드오프가 존재했다.

YOLO의 약점은 NMS였다. 상자가 몇 퍼센트 이상 겹치면 더 확신도가 높은 것만 남기는 임계값이 하이퍼파라미터인데, 이 값을 조금만 바꿔도 결과가 크게 흔들렸다. 이후 등장한 트랜스포머 기반 DETR는 탐지를 집합 예측으로 재정의해 하나의 실제 물체에 하나의 상자만 대응시키고, NMS 자체를 없앴다.

다만 DETR는 트랜스포머가 본래 이미지를 다루도록 설계되지 않은 데다, 밑바닥부터 학습해야 하는 '객체 쿼리' 때문에 방대한 데이터와 긴 학습 시간이 필요했고 추론도 느렸다. 이 한계를 넘어선 것이 2024년의 RT-DETR로, CNN 백본·넥·탐지 헤드 구조에 가장 깊은 특징 맵에만 셀프 어텐션을 적용하고 불확실성이 낮은 쿼리를 선별해 속도와 정확도를 함께 끌어올렸다.

결론적으로 트랜스포머는 YOLO를 죽이지 않았다. 다만 'CNN 기반 YOLO만이 실시간 탐지의 유일한 길'이라는 통념을 깼다. YOLO는 오히려 DETR의 1대1 매칭 같은 아이디어를 받아들여 YOLOv10에서 NMS를 제거하고, 이후 버전에서도 속도와 정확도를 계속 개선하고 있다.

주요 인사이트

• 아키텍처 경쟁의 핵심은 '후처리(NMS) 제거'와 '실시간 속도'라는 두 축이며, 두 계열이 서로의 장점을 흡수하며 발전했다.
• DETR의 집합 예측은 우아하지만, 밑바닥에서 학습되는 객체 쿼리 탓에 데이터·학습 비용이 커진다는 실용적 대가가 따른다.
• RT-DETR는 전 영역이 아닌 가장 거친 특징 맵에만 셀프 어텐션을 적용하고 확신도 높은 쿼리를 미리 선별해, 트랜스포머의 느린 어텐션 문제를 완화했다.
• YOLOv10은 학습 때 강한 감독을 주는 1대다 헤드와 후처리가 필요 없는 1대1 헤드를 함께 쓰고, 추론 시엔 1대1 헤드만 남겨 NMS를 제거했다.
• 한 기술이 다른 기술을 '대체'하기보다, 서로의 설계 아이디어를 빌려 공진화하는 것이 딥러닝 아키텍처 발전의 전형적 패턴이다.

자주 묻는 질문

관련 AI 소식