DETR 해설: 트랜스포머 객체 탐지의 구조와 헝가리안 매칭, Faster R-CNN 비교

핵심 메시지

• 객체 탐지는 물체의 위치를 상자로 잡아내는 로컬라이제이션과 그 물체가 무엇인지 알아내는 분류를 함께 푸는 문제다.
• 2015년 최고 성능이던 Faster R-CNN은 손으로 설계한 앵커와 비최대 억제 같은 후처리에 의존했고, 이런 설계 선택이 성능을 크게 좌우한다는 점이 부담이었다.
• DETR은 ResNet 백본으로 뽑은 특징에 위치 인코딩을 더해 트랜스포머 인코더-디코더에 넣고, 100개의 학습 가능한 오브젝트 쿼리가 각각 하나의 물체를 담당하게 한다.
• 학습에서는 헝가리안 매칭으로 예측과 정답 상자를 일대일로 짝지어, 매칭되지 않은 나머지 예측은 '물체 없음'으로 학습시킨다.
• 결과적으로 DETR은 Faster R-CNN과 비슷한 속도와 정확도를 훨씬 단순한 구조로 달성하지만, 작은 물체 탐지에서는 여전히 뒤처진다.

쉽게 이해하기

이 영상은 트랜스포머를 객체 탐지에 가져온 DETR을 처음부터 따라간다. 출발점은 그 이전의 표준이던 Faster R-CNN이다. 이미지에서 다양한 크기와 종횡비의 앵커 상자 수천 개를 깔고, 각각을 조금씩 조정해 물체가 들어 있을 법한 후보 영역을 뽑고, 겹치는 상자를 비최대 억제로 걸러낸 뒤, 남은 후보에 대해 실제 분류를 수행하는 구조다.

문제는 복잡성이다. 앵커의 크기와 종횡비를 사람이 정해야 하고, 상자가 얼마나 겹쳐야 제거할지 임계값도 손으로 골라야 한다. 발표자는 이런 설계 선택들이 성능을 크게 좌우한다는 점을 이 구조의 핵심적인 약점으로 짚는다.

DETR의 학습 파이프라인은 세 덩어리다. 먼저 이미지 인식으로 사전학습한 ResNet에서 마지막 완전연결층을 떼어내 백본으로 삼고, 원본 대비 가로세로가 32분의 1로 줄어든 특징 텐서를 얻는다. 여기에 1x1 컨볼루션으로 채널 수를 256으로 맞춘 뒤 평탄화해 HW×256 행렬을 만들고, 학습되지 않는 사인·코사인 위치 인코딩을 더한다.

두 번째는 트랜스포머다. 인코더의 셀프 어텐션이 이미지 조각별 표현에 전역 맥락을 실어주고, 디코더에는 100개의 학습 가능한 오브젝트 쿼리가 입력된다. 이 쿼리들은 셀프 어텐션과 크로스 어텐션을 거쳐 각각 하나의 물체를 대표하는 벡터가 되고, 완전연결층을 통해 클래스 확률과 상자 좌표로 변환된다. 클래스가 10개인 과제라면 배경 클래스를 더해 11차원, 상자는 중심 좌표와 높이·너비로 4차원이다.

세 번째가 헝가리안 매칭이다. 100개의 예측 중 정답 상자에 대응할 최적의 예측 하나를 고르고 나머지 99개는 '물체 없음'에 대응시킨 뒤, 분류에는 크로스 엔트로피 손실을, 실제 물체가 있는 경우에만 상자 겹침에 대한 손실을 적용한다. 추론 때는 매칭도 손실 계산도 없고, 배경 확률이 가장 높은 예측들을 무시하고 남은 예측의 상자를 읽으면 끝이라 후처리가 사실상 사라진다.

성능 비교에서 DETR과 Faster R-CNN은 초당 프레임 수와 평균 정밀도 모두 비슷한 수준을 보인다. 다만 작은 물체에 대한 평균 정밀도에서는 Faster R-CNN이 앞서고, 큰 물체에서는 DETR이 전반적으로 좋은 편이다.

주요 인사이트

• DETR의 진짜 기여는 정확도 수치가 아니라 '사람이 손으로 정하던 설계 변수'를 학습 대상으로 바꿔놓은 데 있다. 앵커 크기, 종횡비, NMS 임계값이 사라지면 재현과 이식이 그만큼 쉬워진다.
• 오브젝트 쿼리 100개라는 숫자는 곧 '한 이미지에서 최대 몇 개까지 탐지할 것인가'라는 선언이다. 밀집 장면을 다룬다면 이 값 자체가 성능 상한이 될 수 있다.
• 대부분의 예측이 '물체 없음'으로 학습된다는 점은 클래스 불균형 문제를 내포한다. 100개 중 한둘만 실제 물체에 대응하는 구조라 손실 설계가 민감해진다.
• 작은 물체에서 뒤처지는 이유는 구조에서 짐작할 수 있다. 백본 출력이 원본의 32분의 1 해상도인 단일 스케일 특징이라, 멀티스케일 후보를 만들던 기존 방식이 유리했던 영역이 그대로 약점으로 남는다.
• 후처리를 없앤 설계는 추론 파이프라인의 예측 가능성을 높인다. 임계값 튜닝에 따라 결과가 흔들리지 않는다는 점은 벤치마크 점수보다 운영 단계에서 더 크게 체감된다.

자주 묻는 질문

관련 AI 소식