합성곱 신경망(CNN) 3분 정리: 커널·필터·풀링과 PyTorch 구현 원리

핵심 메시지

• CNN은 컴퓨터에 시각을 부여하려다 만들어졌고, 결과적으로 현대 AI의 출발점이 되었다.
• 핵심은 작은 격자인 '커널'이 큰 입력 위를 훑으며 곱·합으로 새 층을 만들고, 층이 깊어질수록 더 추상적인 표현을 얻는 것이다.
• CNN이 효율적인 이유는 파라미터가 입력 크기가 아니라 커널에만 묶이고, 한 픽셀을 이해하는 데 주변 픽셀만 보면 된다고 가정하기 때문이다.
• 컬러 이미지는 RGB 세 장의 흑백 이미지이므로 최소 세 개의 커널이 필요하며, PyTorch로는 몇 줄이면 구성된다.

쉽게 이해하기

합성곱 신경망(CNN)은 원래 컴퓨터에 사물을 '보는' 능력을 주기 위해 고안됐지만, 결과적으로 현대 AI 전체를 촉발한 딥러닝 구조가 되었다. CNN은 여러 개의 합성곱 층으로 이루어지고, 각 층은 하나의 '스캔하는 커널'을 기반으로 한다. 커널은 큰 격자 위를 돌아다니는 작은 격자라고 생각하면 된다.

커널의 각 지점에는 값이 있고, 커널이 놓인 위치의 입력값들과 곱한 뒤 모두 더하면 다음 층의 새 지점 값이 된다. 이 과정을 반복하면 다음 층으로 갈수록 입력 데이터의 더 추상적인 표현이 만들어지고, 아주 깊은 층에 이르면 고양이와 개, 혹은 숫자 같은 대상을 구분할 수 있게 된다.

CNN은 크기와 효율 면에서 놀랍다. 풀HD 이미지도 작은 신경망으로 처리할 수 있는데, 이유는 두 가지다. 첫째, 각 층의 파라미터는 입력 크기가 아니라 오직 커널에만 연결된다. 둘째, 합성곱은 어떤 픽셀을 이해하는 데 필요한 정보가 공간적으로 그 픽셀 근처에 있다고 가정한다. 즉 눈을 판단할 때 이미지 반대편이 아니라 인접 픽셀만 보면 된다.

색은 어떻게 다룰까. 컬러 이미지는 사실상 빨강·초록·파랑 세 장의 이미지이므로, 최소 세 개의 서로 다른 커널로 입력을 훑어야 한다. 각 필터가 하나의 커널이고 한 장의 흑백 그림을 만들며, 필터 개수에는 제한이 없어 32개, 64개까지도 쓴다. 합성곱 층 사이에는 맥스풀링을 두는데, 이는 해상도를 절반으로 줄이는 다운샘플링으로 고해상도 성질을 빠르게 덜어내는 역할을 한다.

이런 합성곱·풀링 층의 더미 뒤에 일반적인 완전연결 신경망이 붙고, 마지막은 고양이용·개용 두 개의 노드로 끝난다. PyTorch에서는 2D 합성곱 층을 정의할 때 입력 채널(RGB이므로 3), 출력 채널, 커널 크기, 그리고 입력 주위에 덧붙이는 가짜 픽셀 수인 패딩을 지정한 뒤 활성화 함수와 맥스풀링을 더하면 되어 구현이 매우 간단하다.

주요 인사이트

• 합성곱의 본질은 '작은 커널이 입력 위를 훑으며 곱하고 더하는' 단순 연산의 반복이다.
• 층이 깊어질수록 표현이 추상화되어, 얕은 층의 국소 특징이 깊은 층의 '고양이/개' 판단으로 이어진다.
• 파라미터가 입력 크기가 아니라 커널에만 묶이기에, 큰 이미지도 작은 신경망으로 처리할 수 있다.
• '가까운 픽셀만 봐도 된다'는 공간적 국소성 가정이 CNN 효율의 또 다른 기둥이다.
• 컬러는 RGB 세 흑백 채널로 분해되므로, 필터 수를 늘려 다양한 특징을 병렬로 뽑아낸다.

자주 묻는 질문

관련 AI 소식