객체 검출 논문 5편 정리: R-CNN, Faster R-CNN, YOLO, DETR, RT-DETR의 계보

핵심 메시지

• R-CNN은 영역 후보 2천 개를 각각 신경망에 통과시키는 3단계 방식으로, 손으로 설계한 특징에 의존하던 이전 세대를 넘어섰다.
• Faster R-CNN은 이미지를 합성곱 신경망에 단 한 번만 통과시켜 GPU 기준 47초였던 추론을 200밀리초 수준으로 줄였다.
• YOLO는 정확도를 조금 내주는 대신 완전 합성곱 구조로 수십 밀리초대 예측을 실현했고, 지금까지 버전을 거듭하며 살아남았다.
• DETR은 검출을 집합 예측 문제로 재정의해 비최대 억제 같은 후처리 자체를 없앴다.
• RT-DETR은 합성곱 백본과 트랜스포머를 결합한 하이브리드 인코더로 DETR 계열을 실시간 영역까지 끌어내렸다.

쉽게 이해하기

이미지 속 물체에 상자를 치고 이름을 붙이는 객체 검출은 지난 10여 년 사이 완전히 다른 기술이 됐다. 영상은 그 변화를 이끈 논문 다섯 편을 시간 순으로 이어 붙여, 각 단계에서 무엇이 병목이었고 다음 논문이 그것을 어떻게 걷어냈는지 설명한다.

출발점은 R-CNN이다. 이미지에서 물체가 있을 법한 영역 후보를 뽑고, 각각을 합성곱 신경망에 넣어 벡터를 얻은 뒤, 그 벡터를 분류기에 통과시켜 이름을 붙이는 3단계 구조였다. 손으로 설계한 특징에 기대던 이전 방식보다 훨씬 나은 성능을 보였지만, 후보 2천 개를 하나씩 신경망에 통과시키고 각각을 서포트 벡터 머신으로 분류해야 해서 GPU에서도 한 장에 47초가 걸렸다.

Faster R-CNN은 그 순서를 뒤집었다. 후보마다 신경망을 돌리는 대신 이미지를 한 번만 통과시켜 특징 맵을 만들고, 그 위에서 이후 처리를 진행한다. 여기에 여러 크기의 앵커 박스를 두어 큰 물체와 작은 물체를 함께 잡아냈다. 영역 제안 네트워크와 분류 헤드까지 전부 신경망으로 구성돼 역전파로 통째로 학습할 수 있게 됐고, 추론 시간은 이미지당 200밀리초 수준으로 떨어졌다.

YOLO는 방향이 조금 다르다. 이미지를 넣으면 텐서 하나가 나오고 이를 해석하면 경계 상자와 클래스가 한꺼번에 얻어지는, 단순한 완전 합성곱 구조다. 정확도는 R-CNN 계열보다 다소 낮지만 수백 밀리초 대신 수십 밀리초 안에 답을 낸다. 2015년 처음 나온 뒤 개선을 거듭해 현재의 YOLO 26에 이르렀고, 여전히 빠르면서도 성능이 좋다.

다음 전환점은 DETR이다. 초기 YOLO나 Faster R-CNN은 같은 물체에 여러 상자가 겹쳐 나와 비최대 억제 같은 후처리로 하나만 남겨야 했고 그 구현 방식이 성능을 크게 흔들었는데, DETR은 학습 단계에서 예측 상자 집합과 정답 상자 집합을 짝지어 맞추고 짝이 없는 상자에 '물체 없음'을 할당해 후처리 자체를 없앴다. 다만 트랜스포머의 계산량이 입력 크기의 제곱에 비례한다는 점이 속도의 발목을 잡았고, 이를 푼 것이 마지막 논문 RT-DETR이다. RT-DETR은 이미지 처리를 효율적인 합성곱 백본에 맡기고 마지막 단계의 특징만 트랜스포머에 통과시킨 뒤 합성곱 기반 융합 블록으로 여러 크기의 특징을 합쳐, 다양한 크기의 물체를 잡으면서도 지연 시간이 낮은 실시간 검출을 가능하게 했다.

주요 인사이트

• 객체 검출의 발전은 새로운 정확도 지표를 좇은 역사가 아니라, 매 세대의 병목을 하나씩 제거한 역사다. 중복 연산(R-CNN), 후처리 의존(YOLO·Faster R-CNN), 트랜스포머의 제곱 계산량(DETR)이 차례로 표적이 됐다.
• 속도와 정확도는 늘 맞바꿔야 하는 값이었지만, 구조를 바꾸면 교환 조건 자체가 이동한다. Faster R-CNN과 RT-DETR은 모두 정확도를 내주지 않고 속도를 얻은 사례다.
• 후처리는 부수적인 마무리 작업처럼 보이지만 성능을 좌우하는 변수였다. DETR이 이를 학습 단계의 짝짓기 문제로 옮긴 것은 파이프라인의 불확실성을 통째로 없앤 설계였다.
• 트랜스포머가 등장했다고 합성곱이 밀려난 것은 아니다. RT-DETR은 이미지 전반을 훑는 일은 합성곱에, 관계를 파악하는 일은 트랜스포머에 맡기는 역할 분담으로 실시간성을 확보했다.

자주 묻는 질문

관련 AI 소식