소형 객체 탐지 AP 격차의 원인과 해법: 손실 함수 박스 보정으로 드론·새 탐지 정확도 높이기

핵심 메시지

• 드론과 새를 구분해 탐지하는 일은 공항 안전이나 방위 영역에서 중요하지만, 값싼 RGB 카메라로는 멀리 있는 대상이 몇 픽셀에 불과해 정밀한 위치 추정이 어렵다.
• 발표팀은 느슨한 기준의 AP50에서는 소형 객체가 0.83 수준을 기록하지만 엄격한 기준의 AP에서는 0.5 수준으로 떨어지는 격차를 확인했다.
• 이 격차는 물체를 찾지 못해서가 아니라 찾고도 경계 상자를 정확히 조이지 못해서 생기며, 시각화에서 상자가 실제보다 1.5~2배 크게 그려졌다.
• 팀은 모델 구조나 입력 해상도를 바꾸는 대신 손실 함수 단계에서 네 가지 보정을 적용해 문제를 다루는 접근을 택했다.
• 작은 객체에 가중치를 더 주는 방식과 픽셀 대신 비율로 오차를 재는 방식을 함께 쓸 때 소형 객체 성능이 가장 좋았고, 상자 크기 편향에 페널티를 주는 제안 기법이 전반적으로 가장 균형 잡힌 결과를 냈다.

쉽게 이해하기

서울대 수업에서 진행된 이 팀 프로젝트는 드론과 새를 구분해 탐지하는 문제를 다룬다. 공항이나 안보 현장에서 하늘의 물체가 드론인지 새인지 판별하는 일은 안전과 직결되는데, 일반 RGB 카메라는 값이 싸고 설치가 쉬운 대신 멀리 있는 대상이 화면에서 몇 픽셀밖에 되지 않는다는 약점이 있다. 발표팀은 탐지 문제를 클래스를 맞히는 일과 경계 상자를 정확히 그리는 일 두 축으로 나눠서 바라봤다.

핵심 관찰은 두 평가 지표의 차이에서 나온다. 겹침 기준을 0.5로 느슨하게 잡는 AP50에서는 소형 객체도 0.83 정도의 준수한 점수를 얻지만, 겹침 기준을 0.5부터 0.95까지 올려가며 평균 낸 엄격한 AP에서는 0.5 수준으로 떨어진다. 발표팀은 이 격차를 단순한 성능 지표가 아니라 진단 지표로 삼았다. 격차가 크다는 것은 대상이 있는 영역에는 제대로 닿았지만 정밀한 위치까지는 맞히지 못했다는 뜻이기 때문이다.

작은 물체가 유독 겹침 기준에 민감한 이유도 함께 설명한다. 한 변의 길이가 짧을수록 좌표가 몇 픽셀만 어긋나도 겹침 비율이 크게 깎이고, 예측 상자가 조금만 커져도 점수가 급락한다. 사용한 실시간 검출 모델은 상자 크기를 예측할 때 입력 특징에 의존하는 항과 전역적으로 작용하는 편향 항을 함께 쓰는데, 팀은 이 편향 항이 상자 크기를 일괄적으로 키우거나 줄이는 역할을 한다는 점에 주목해 여기에 제약을 걸어 보기로 했다.

적용한 보정은 네 가지다. 상자가 작을수록 손실에 더 큰 가중치를 주는 방식, 오차를 픽셀 단위가 아니라 중심 좌표와 너비의 비율로 환산해 재는 방식, 소형 객체에 특화되지 않은 범용 손실을 그대로 가져와 적용해 본 방식, 그리고 상자가 커지는 방향의 편향에만 단방향 페널티를 거는 팀의 제안 방식이다. 실험 결과 범용 손실이나 개별 적용만으로는 뚜렷한 향상이 없었고, 앞의 두 방식을 결합했을 때 소형 객체 성능이 가장 좋았으며 제안한 편향 정규화가 전반적으로 가장 균형 잡힌 향상을 보였다.

발표팀은 실무에 쓸 만한 원칙 하나를 제시하며 마무리한다. 작은 물체를 아예 놓치고 있다면 모델 구조나 데이터 자체를 바꿔야 하지만, 물체는 찾고 있는데 느슨한 지표와 엄격한 지표 사이의 격차가 크다면 손실 함수 수준의 위치 보정만으로도 상당 부분 개선할 수 있다는 것이다. 다만 검출기 하나와 데이터셋 하나만 검증했고 제안한 편향 정규화가 특정 모델 구조에 맞춰져 있어 다른 모델로 옮기기 어렵다는 점을 한계로 밝혔다.

주요 인사이트

• 평가 지표의 차이를 성적표가 아니라 진단 도구로 쓴 점이 이 발표의 핵심이다. 느슨한 지표와 엄격한 지표의 간격은 모델이 탐지를 못하는지 위치 추정을 못하는지를 구분해 준다.
• 같은 좌표 오차라도 대상 크기에 따라 체감 손해가 완전히 달라진다. 큰 물체에서 몇 픽셀은 무시할 만하지만 32픽셀도 안 되는 대상에서는 점수를 크게 깎아먹는다.
• 구조 변경이나 고해상도 입력처럼 비용이 큰 처방 대신 손실 함수만 손대는 접근은 기존 학습 파이프라인을 유지한 채 시도할 수 있다는 실용적 장점이 있다.
• 데이터가 많다고 쉬운 문제는 아니다. 발표에 따르면 새 데이터가 드론 데이터보다 훨씬 많았는데도 새 쪽 성능이 거의 항상 더 낮게 나왔다.
• 제안 기법이 특정 검출기의 편향 항 구조에 의존한다는 한계를 발표팀 스스로 밝힌 점은, 이런 종류의 보정이 어디까지 일반화되는지 따져 봐야 한다는 신호이기도 하다.

자주 묻는 질문

관련 AI 소식