열화상 세그멘테이션 도메인 적응: RGB-열화상 상호 증류로 야간 자율주행 인식 성능 높이기

핵심 메시지

• RGB 카메라는 어둠과 악천후에서 인식 성능이 급격히 떨어지지만, 열화상 카메라는 조도·날씨의 영향을 거의 받지 않아 야간 자율주행 인식에 유리하다. 다만 열화상은 픽셀 단위 라벨링이 어렵고 비싸 라벨 부족 문제가 있다.
• 이 연구는 라벨이 있는 RGB 지식을 라벨 없는 열화상 도메인으로 옮기는 '크로스 스펙트럴 비지도 도메인 적응(UDA)'을 다룬다.
• 기존 MSUDA는 RGB 특징 기반의 한 방향(one-way) 증류라 열화상 고유 특성을 반영하지 못했고, 조명이 낮으면 의사 라벨 품질도 떨어졌다.
• 제안 기법은 세 가지다: RGB와 열화상이 서로의 강점만 교환하는 마스크드 상호 학습(양방향 증류), 두 스펙트럼의 클래스 중심을 공유하는 크로스 스펙트럴 프로토타입, 그리고 의사 라벨 대신 프로토타입으로 야간을 학습하는 프로토타입 자기지도 손실(PSL).
• 그 결과 mIoU가 70.4%에서 76.9%로 약 6.5%p 향상되어, 낮과 밤 구분 없이 견고한 세그멘테이션과 라벨 없는 열화상 도메인 학습이 가능함을 보였다.

쉽게 이해하기

이 발표는 딥러닝 논문 읽기 모임에서 'Boosting Cross-Spectral Unsupervised Domain Adaptation' 논문을 소개한 것이다. 자율주행에서 픽셀 단위 객체 인식인 시맨틱 세그멘테이션은 주행 안정성과 안전에 직결된다. 그러나 주로 쓰이는 RGB 카메라는 어둡거나 날씨가 나쁘면 성능이 크게 떨어진다. 열화상 카메라는 저광량 신호를 감지해 야간·악천후에도 안정적이지만, 픽셀 단위 라벨을 붙이기 어렵고 비용이 커 라벨이 부족하다는 문제가 있다.

이를 해결하기 위해 라벨이 있는 소스 도메인(RGB)의 지식을 라벨이 없는 타깃 도메인(열화상)으로 옮기는 비지도 도메인 적응이 연구돼 왔다. 특히 두 도메인은 단순한 스타일 차이를 넘어 센서의 물리적 특성까지 다르기 때문에, 같은 모달리티 안의 적응보다 훨씬 어려운 '크로스 스펙트럴' 문제가 된다. 기존 대표 기법인 MSUDA는 RGB로 학습한 교사 모델로 열화상 학생을 가르치는 한 방향 증류를 쓰고, 사이클GAN으로 낮 영상을 밤처럼 바꿔 학습했지만 실제 야간 분포를 충분히 반영하지 못했다.

논문은 세 가지 핵심 아이디어로 이를 개선한다. 첫째, 마스크드 상호 학습(MML)은 열화상이 강한 영역은 RGB가, RGB가 강한 영역은 열화상이 서로에게서 배우는 양방향 증류다. 예컨대 사람은 열화상에서, 자전거는 RGB에서 더 잘 보이므로 상호 보완적인 정보만 교환하고 불확실한 예측은 전파되지 않도록 막는다. 이를 위해 스펙트럼 간 마스크와 스펙트럼 내 불확실성 마스크를 계산해 KL 발산 손실과 결합한다.

둘째, 크로스 스펙트럴 프로토타입은 각 클래스의 평균 특징 벡터를 RGB와 열화상 각각에서 구한 뒤 평균 내어 공유한다. 신뢰도가 일정 이상인 픽셀만 반영하고, 같은 클래스는 끌어당기고 다른 클래스는 밀어내는 대조 학습으로 두 스펙트럼 간 의미적 일관성을 유지한다. 셋째, 프로토타입 자기지도 손실(PSL)은 품질이 낮은 야간 의사 라벨 대신, 디코더 출력이 프로토타입의 분포를 따르도록 학습해 라벨 없이도 야간 열화상에서 안정적으로 학습하게 한다.

구조는 스펙트럼 전용 인코더 두 개, 가중치를 공유하는 디코더, 프로토타입 융합 모듈로 이뤄지며 2단계로 학습한다. 1단계는 주간 데이터로 세그멘테이션·대조·MML 손실을 학습하고, 2단계는 실제 야간 데이터에 PSL 손실을 더한다. 백본은 ImageNet으로 사전학습한 ResNet-50, 세그멘테이션 네트워크는 RTFNet을 사용했고, 딥랩V3로 바꿔도 비슷한 효과가 나 특정 아키텍처에 종속되지 않는 범용 전략임을 확인했다.

주요 인사이트

• 핵심 통찰은 서로 다른 센서의 약점을 상호 보완으로 메운다는 점이다. 한 방향 증류를 양방향 상호 학습으로 바꾸는 것만으로도 mIoU가 70.4%에서 72.8%로 올랐고, 여기에 MML·프로토타입·PSL을 차례로 더해 최종 76.9%에 도달했다.
• 불확실성 기반 마스킹으로 신뢰할 수 있는 영역에서만 지식을 교환하게 한 설계가 노이즈 전파를 억제하는 열쇠다. 잘못된 예측이 상대 네트워크로 번지는 것을 막아 학습 안정성과 성능을 동시에 확보했다.
• 실제 야간 분포를 학습에 반영한 것이 중요하다. 사이클GAN이 만든 가짜 야간 영상은 실제 밤의 분포를 제대로 담지 못하므로, PSL로 실제 수집된 야간 열화상을 라벨 없이 학습해 현실 환경에 더 가까이 적응했다.
• 평가에서 RGB 라벨 정보 없이도 야간 세그멘테이션 성능이 향상됐다는 점은 실제 자율주행 적용 가능성을 보여 준다. 다만 열화상 해상도 한계로 자전거 같은 작은 객체는 여전히 어렵고, 비지도 방식이라 완전한 지도학습 수준의 정확도에는 아직 미치지 못한다.
• 실험은 RGB-열화상 쌍 데이터셋인 MF 데이터셋(9개 클래스)과 KAIST 기반 보행자 탐지 데이터(약 9만 5천 프레임, Cityscapes와 동일한 19개 클래스로 라벨링한 950장)에서 수행됐고, 낮과 밤을 구분한 평가 프로토콜로 야간 성능을 별도로 검증했다.

자주 묻는 질문

관련 AI 소식