CNN 멀티스케일 원리 정리: 계층적 특징, U-Net 스킵 연결, 피처 피라미드 네트워크

핵심 메시지

• CNN이 크기가 다른 물체를 모두 다룰 수 있는 1차 이유는 계층 구조 자체에 있다. 얕은 층은 세밀한 공간 정보를, 깊은 층은 넓은 맥락과 의미 정보를 담는다.
• 계층 구조만으로는 부족하다. 객체 탐지나 분할처럼 물체 크기를 알고 처리하는 것이 결정적인 문제에서는 스케일을 명시적으로 다루는 장치가 필요하다.
• Faster R-CNN은 여러 크기의 앵커 박스를, U-Net은 얕은 층과 깊은 층을 잇는 스킵 연결을, 피처 피라미드 네트워크는 마지막 층 정보를 앞쪽 층으로 되먹이는 방식을 쓴다.
• 1980~90년대 LeNet에서 2000년대 수작업 특징 파이프라인을 거쳐 2012년 AlexNet이 종단간 학습으로 판을 뒤집었고, 2010년대에 탐지·분할로 응용이 폭발했다.

쉽게 이해하기

현대적 합성곱 신경망의 첫 형태는 1980~90년대 LeNet이었다. 합성곱과 풀링, 그리고 완전연결 층을 이어 붙여 이미지를 정해진 범주로 분류하는 구조였고, 숫자 인식 같은 단순한 문제에서는 잘 작동했지만 현실의 문제를 감당할 힘은 없었다. 2000년대 초에는 얼굴에서 눈이나 콧대 같은 부위를 잡아내는 특징을 사람이 직접 설계하고 그 결과로 경계 상자를 그리는 파이프라인이 주류였다.

2012년 ImageNet 분류 논문이 소개한 AlexNet이 흐름을 바꿨다. 역전파로 처음부터 끝까지 학습되는 합성곱 신경망이 수작업 특징 파이프라인의 성능을 앞지르기 시작했고, GPU 병렬 처리와 정규화, ReLU 활성화, 드롭아웃, 데이터 증강처럼 오늘날에도 쓰이는 기법들이 함께 들어왔다. 2010년대에는 응용이 폭발했다. 실시간 객체 탐지를 겨냥한 Faster R-CNN, 경계 상자를 곧바로 예측하는 완전 합성곱 구조의 YOLO 계열, 픽셀 단위로 오려내는 의미 분할, 스킵 연결을 쓰는 U-Net, 탐지와 분할을 동시에 수행하는 Mask R-CNN이 차례로 등장했다.

이 신경망들이 작은 물체와 중간, 큰 물체를 모두 그럭저럭 잘 다루는 이유는 계층 구조에 있다. 층이 깊어질수록 해상도는 거칠어지지만 학습되는 맥락 정보는 늘어나고, 반대로 앞쪽 층은 이미지의 미세한 디테일을 볼 수 있지만 처리되는 정보 자체는 아직 얕다. 이 자연스러운 위계 덕분에 서로 다른 층이 서로 다른 크기의 물체를 나눠 맡는 셈이 된다.

다만 이것만으로 충분하지 않은 문제들이 있다. Faster R-CNN은 물체가 여러 크기로 존재할 수 있다는 전제를 앵커 박스, 즉 사전 경계 상자로 명시한다. U-Net은 공간 정보가 좋은 앞쪽 층과 맥락·의미 정보가 좋은 뒤쪽 층을 스킵 연결로 이어 붙여 양쪽의 장점을 함께 취하고 고품질 분할 맵을 얻는다. 피처 피라미드 네트워크는 보통 마지막 층에서만 하던 예측을 바꿔, 마지막 층의 정보를 위에서 아래로 앞쪽 층에 되먹인다. 그 결과 가장 앞쪽 층은 작은 물체를, 중간 층은 중간 크기를, 마지막 층은 큰 물체를 더 잘 잡아낸다.

주요 인사이트

• 해상도와 의미 정보는 서로 맞바꾸는 관계다. 앞쪽 층은 위치를 정확히 알지만 무엇인지 모르고, 뒤쪽 층은 무엇인지 알지만 어디인지 흐릿하다. 멀티스케일 기법은 대부분 이 둘을 어떻게 다시 합치느냐의 문제다.
• U-Net의 스킵 연결과 피처 피라미드 네트워크는 방향이 다르다. 스킵 연결은 같은 깊이의 정보를 가로로 이어 붙이고, 피처 피라미드는 깊은 층의 의미 정보를 위에서 아래로 되먹인다.
• AlexNet의 기여는 성능 수치만이 아니었다. GPU 병렬 처리와 ReLU, 드롭아웃, 데이터 증강처럼 지금도 표준으로 쓰이는 학습 기법들이 한꺼번에 자리를 잡은 계기였다.
• 결국 CNN이 모든 스케일을 보는 방식은 특징의 위계를 쌓고, 그 위계를 다시 결합하는 것이다. 그렇게 만들어진 표현이 탐지와 분할은 물론 이미지 생성에도 쓰인다.

자주 묻는 질문

관련 AI 소식