D-FINE 실시간 객체 탐지 – DETR의 바운딩 박스 한계를 분포 예측으로 개선

핵심 메시지

• DETR 계열 탐지기는 바운딩 박스를 중심좌표·너비·높이 네 개의 정확한 값으로 예측하는데, 이는 경계가 모호하거나 흐릿한 상황을 담지 못한다.
• D-FINE은 좌표를 직접 회귀하는 대신, 박스의 네 변을 각각 확률 분포로 예측해 위치의 불확실성을 모델링한다.
• 핵심 구성요소는 미세 분포 정제(FDR)와 전역 최적 위치 자기증류(GO-LSD) 두 가지다.
• 마지막 디코더 층을 교사로 삼아 앞선 층들을 학습시키는 자기증류로 수렴 속도와 정밀도를 함께 끌어올린다.
• 실험에서 D-FINE은 YOLO·DETR 계열과 비교해 지연 시간은 더 짧으면서도 평균 정밀도(AP)는 더 높은 실시간 탐지 성능을 보였다.

쉽게 이해하기

객체 탐지는 이미지 속 물체의 위치를 찾고(로컬라이제이션) 무엇인지 분류하는 작업이다. 실시간 탐지 영역에서는 YOLO와 DETR(Detection Transformer)가 대표적인 두 갈래인데, 이 영상은 DETR 계열의 성능을 개선한 D-FINE 모델을 다룬다.

2020년에 나온 원조 DETR은 이미지를 합성곱 신경망에 통과시켜 특징을 뽑고, 위치 인코딩을 더한 뒤 트랜스포머 인코더·디코더로 처리한다. 디코더에는 "객체 쿼리"라는 자리표시자 벡터가 들어가 각각 하나의 바운딩 박스와 분류 결과(또는 객체 없음)로 이어진다. 다만 트랜스포머가 입력 크기에 대해 제곱으로 커지고, 객체 쿼리를 처음부터 학습해야 해 훈련과 추론이 느리다는 약점이 있었다.

RT-DETR(실시간 DETR)은 합성곱과 트랜스포머를 섞은 하이브리드 인코더를 쓰고, 인코더가 만든 초기 추정을 객체 쿼리의 출발점으로 삼아 이 문제를 상당 부분 해결했다. 그러나 여전히 각 쿼리가 픽셀 단위의 정확한 좌표 하나만 내놓기 때문에, 흐릿하거나 가려진 물체처럼 경계가 애매한 경우 작은 좌표 오차가 손실을 크게 흔드는 문제가 남았다.

D-FINE은 바운딩 박스 회귀 문제 자체를 다시 정의한다. 좌표 값을 바로 예측하는 대신, 초기 박스에서 시작해 위·아래·왼쪽·오른쪽 각 변을 얼마나 옮길지를 확률 분포로 예측하고 디코더 층을 지나며 점진적으로 다듬는다. 이 미세 분포 정제(FDR)를 통해 각 변을 독립적으로, 불확실성을 반영해 조정할 수 있다.

두 번째 축인 전역 최적 위치 자기증류(GO-LSD)는 정확한 박스를 더 잘 만드는 마지막 디코더 층을 교사로 삼고, 그 앞의 층들을 학생으로 두어 지식을 전달한다. 덕분에 앞선 층들이 더 적은 데이터로 빠르게 수렴하고 추론 시 위치 정밀도도 좋아진다.

주요 인사이트

• 핵심 발상은 "정답이 하나"라는 가정을 버리는 것이다. 경계가 모호한 물체를 하나의 좌표가 아니라 이동량의 분포로 표현하면 라벨 잡음과 흐림에 더 강건해진다.
• 네 변을 서로 독립적인 분포로 다루기 때문에, 한쪽 변만 크게 옮기고 다른 변은 미세 조정하는 식의 세밀한 보정이 가능하다.
• 자기증류는 별도의 큰 교사 모델 없이 같은 네트워크 안에서 이뤄져, 추가 비용 없이 초기 층의 성능을 끌어올린다.
• 결과적으로 D-FINE은 속도(지연 시간)와 정밀도를 동시에 개선해, 실시간 탐지에서 최신 수준의 절충점을 제시한다.

자주 묻는 질문

관련 AI 소식