합성곱 신경망(CNN) 원리 완전 정리: MIT 6.S191 컴퓨터 비전 강의 핵심 해설

핵심 메시지

• 컴퓨터에게 이미지는 픽셀 값이 담긴 2차원 배열이며, 컬러 이미지는 빨강·초록·파랑 세 장이 겹친 3차원 배열이다.
• 이미지를 완전연결 신경망에 넣으려고 1차원으로 펴는 순간 공간 정보가 모두 사라지고 파라미터도 폭발한다.
• 합성곱은 작은 필터를 이미지 위로 옮겨 가며 부분끼리 비교하는 연산으로, 위치가 조금 달라져도 같은 특징을 찾아낸다.
• 핵심 전환은 사람이 필터를 설계하는 대신 데이터로 필터를 학습시키는 것이며, 층이 깊어질수록 경계선에서 얼굴 부위, 전체 구조로 특징이 계층적으로 조합된다.
• 같은 특징 추출부에 뒷단만 바꾸면 분류, 물체 검출, 의미 분할, 자율주행 제어까지 전혀 달라 보이는 문제를 같은 원리로 풀 수 있다.

쉽게 이해하기

강의는 시각이 무엇인지에 대한 질문에서 출발한다. 강연자는 시각을 '보는 것만으로 무엇이 어디에 있는지 아는 능력'이라 소개하면서도, 도로 사진 한 장에서 우리가 길가에 주차된 흰 승합차는 정지해 있고 다른 차는 움직인다는 것까지 읽어낸다며 사람의 시각은 그 이상이라고 덧붙인다. 이어 표현 방식을 짚는데, 흑백 이미지는 픽셀마다 밝기 값 하나를 가진 2차원 숫자 배열이고 컬러 이미지는 픽셀마다 세 값을 가져 3차원 배열이 된다. 여기에 연속값을 내놓는 회귀와 클래스를 내놓는 분류를 얹으면 컴퓨터 비전 문제의 기본 틀이 갖춰진다.

분류를 하려면 각 클래스를 구별해 주는 특징이 무엇인지 먼저 정해야 하는데, 얼굴을 찾으려면 눈·코·귀를 찾으면 된다고 말하는 순간 '눈은 어떻게 찾느냐'는 같은 문제가 재귀적으로 반복되고 시점·크기·가림·조명에 따라 픽셀 값도 완전히 달라진다. 사람이 특징을 일일이 정의하는 방식이 무너지는 지점이 바로 여기이고, 딥러닝은 이 정의를 데이터에 맡긴다. 그렇다고 이미지를 기존의 완전연결 신경망에 그대로 넣을 수도 없는데, 2차원 이미지를 1차원으로 펴는 순간 공간 정보가 모두 사라지고 모든 픽셀이 모든 뉴런에 연결돼 파라미터도 지나치게 많아지기 때문이다. 대안은 입력 픽셀을 조각 단위로 묶어 출력 뉴런에 국소적으로 연결하는 것이고, 이것이 곧 합성곱이다.

합성곱의 원리는 X자 모양을 찾는 예시로 설명된다. 이미지 전체를 통째로 비교하면 조금만 회전하거나 어긋나도 실패하지만, 왼쪽 대각선·오른쪽 대각선·교차점이라는 조각 단위로 비교하면 위치가 약간 달라도 찾아낼 수 있다. 필터는 이런 조각을 담은 작은 이미지이고, 이미지 위를 훑으며 각 위치에서 원소별 곱셈과 합을 계산한 뒤 비선형 함수를 통과시킨다. 합성곱 신경망은 바로 이 합성곱과 비선형 함수, 그리고 다운샘플링에 해당하는 풀링 세 연산으로 구성된다.

그 세 연산이 층을 이루는 방식은 이렇다. 한 층은 필터 하나가 아니라 여러 개를 동시에 적용해 부피 형태의 출력을 만들고, 풀링으로 해상도를 낮추면 다음 층의 수용 영역이 상대적으로 넓어져 더 큰 규모의 특징을 잡게 된다. 학습된 필터를 시각화하면 초기 층은 밝기 변화의 경계, 중간 층은 눈과 코 같은 부위, 상위 층은 얼굴 전체 구조에 반응하는 모습이 나타난다.

강의 후반부는 같은 특징 추출부를 두고 뒷단만 교체하는 확장을 보여준다. 분류는 특징을 펴서 소프트맥스로 확률 분포를 만들고, 물체 검출은 위치와 경계 상자까지 개수 제한 없이 내놓아야 한다. 무작위 상자나 어림짐작으로 후보를 뽑는 방식은 계산량과 신뢰성 문제로 한계가 있어, 영역 제안까지 같은 신경망 안에서 학습하는 방식이 등장했다. 의미 분할은 다운샘플링 대신 업샘플링을 붙여 픽셀마다 클래스를 예측한다.

주요 인사이트

• 강의는 사람이 손으로 설계한 필터도 여전히 유효하다는 점을 짚는다. 가장자리를 검출하거나 이미지를 선명하게 만드는 필터는 가중치를 들여다보면 의미가 그대로 읽히는데, 선명화 필터는 중앙을 키우고 주변을 깎는 식이다. 필터의 가중치만 바꿔도 다음 층의 출력이 완전히 달라진다.
• 필터 크기와 개수를 정하는 일은 과학이라기보다 기술에 가깝다는 질문이 나오자, 강연자는 데이터에 따라 다르다고 답한다. 2,000픽셀 너비의 큰 이미지에 3×3 필터로 시작하는 것은 대개 너무 작지만, 작은 이미지에서는 그 크기가 이미 상당한 비율일 수 있다는 것이다.
• 최대 풀링이 유일한 축소 방법은 아니라는 점도 지적된다. 최대값만 남기면 나머지 픽셀로는 기울기가 전달되지 않아 상당히 거친 방식인 반면, 평균을 취하면 조각 전체에 안정적으로 기울기가 흐른다.
• 정면 얼굴만 학습한 모델은 옆으로 누운 얼굴을 잘 인식하지 못한다. 두 방향을 모두 보여줬다면 양쪽 모두에서 특징을 잡도록 학습했을 것이라는 설명은, 모델의 일반화 범위가 결국 학습 데이터의 범위에 묶인다는 점을 보여준다.
• 마지막 사례인 자율주행 모델은 카메라 영상과 대략적인 지도만 입력받아, 하나의 각도가 아니라 조향각의 연속 확률 분포를 학습한다. 강연자는 사람도 새로운 도시에서 지도만 보고 운전할 수 있다는 점을 들며, 도시를 미리 주행해야 하는 기존 자율주행 방식과 다르다고 설명한다.

자주 묻는 질문

관련 AI 소식