신경망 작동 원리 쉽게 이해하기: 뉴런, 가중치, 바이어스로 손글씨 숫자를 읽는 구조

핵심 메시지

• 신경망의 뉴런은 0에서 1 사이의 숫자를 담고 있는 칸이며, 그 값을 액티베이션이라고 부른다.
• 28x28 픽셀 이미지는 784개의 입력 뉴런이 되고, 마지막 층의 뉴런 10개는 입력이 각 숫자일 가능성을 나타낸다.
• 가중치는 앞 층의 값들을 어떻게 조합할지 정하는 숫자이고, 바이어스는 그 조합이 어느 정도가 되어야 의미 있다고 볼지 기준을 정한다.
• 이 작은 신경망 하나에도 약 1만 3천 개의 가중치와 바이어스가 들어 있으며, 학습이란 결국 이 숫자들을 적절한 값으로 찾아가는 과정이다.
• 신경망 전체는 784개의 숫자를 받아 10개의 숫자를 내놓는 하나의 거대한 함수로 볼 수 있다.

쉽게 이해하기

화면 위에 흐릿하게 적힌 3을 사람은 아무 어려움 없이 3이라고 읽는다. 그런데 픽셀 값만 놓고 보면 같은 3이라도 전부 다른 숫자 덩어리다. 강의는 이 당연해 보이는 일이 프로그램에게는 얼마나 어려운 일인지에서 출발해, 가장 기본적인 형태의 신경망인 다층 퍼셉트론으로 이 문제를 푸는 과정을 따라간다.

구조는 단순하다. 28x28 크기의 이미지는 784개의 픽셀이고, 각 픽셀의 밝기가 0에서 1 사이 값으로 첫 층에 들어간다. 마지막 층에는 뉴런 10개가 있고, 각 값은 입력 이미지가 그 숫자일 가능성을 나타낸다. 그 사이에 16개짜리 은닉층 두 개를 두는데, 강의는 16이라는 숫자에 특별한 이유가 있는 것이 아니라 화면에 보기 좋아서 고른 값이라고 솔직하게 밝힌다.

은닉층이 하는 일은 무엇일까. 사람이 9를 위쪽 동그라미와 아래로 뻗은 선의 조합으로, 8을 동그라미 두 개의 조합으로 인식하듯, 은닉층이 이미지에서 부분 패턴을 찾아내고 그 패턴을 조합해 최종 판단에 이르기를 우리는 기대한다. 강의는 이것이 실제로 그렇게 되는지는 다음 편에서 확인할 문제이고, 지금은 그렇게 되기를 바라는 설계라는 점을 강조한다.

여기서 가중치가 등장한다. 가중치는 앞 층의 값들을 얼마씩 섞을지 정하는 숫자다. 특정 영역만 양수로 두고 나머지를 0으로 두면 그 자리에 밝은 픽셀이 있는지를 감지하는 장치가 되고, 테두리를 음수로 두면 가운데만 밝고 주변은 어두운 패턴에 더 크게 반응한다. 곱하고 더한 값은 아무 크기나 될 수 있어서 시그모이드 함수로 0에서 1 사이로 눌러 주고, 어느 정도부터 의미 있는 신호로 볼지는 바이어스로 조정한다.

이 모든 계산은 행렬과 벡터의 곱으로 간결하게 쓸 수 있고, 그래서 코드로 옮기기도 쉽다. 마지막으로 한국어 채널 진행자는 원본에 없는 보충 설명을 덧붙인다. 시그모이드는 고전적이고 기본적인 함수지만 학습이 느리고 그래디언트가 사라지는 문제가 있어 요즘은 음수 구간을 0으로 만드는 ReLU 계열의 활성화 함수를 훨씬 많이 쓴다는 것이다.

주요 인사이트

• AI를 블랙박스로 남겨 두지 않고 가중치와 바이어스가 무엇을 뜻하는지 아는 것만으로도, 이후 신경망 구조가 왜 그런 방향으로 발전했는지 이해할 수 있는 발판이 생긴다.
• 뉴런을 '숫자를 담고 있는 칸'으로 시작해 설명하지만, 입력이 바뀌면 값이 바뀌므로 결국 앞 층의 출력을 받아 0과 1 사이 값을 내놓는 함수로 보는 편이 더 정확하다.
• 가중치와 바이어스를 사람이 손으로 채워 넣는 것은 불가능에 가깝고, 그래서 학습 알고리즘이 필요하다. 학습 이야기는 이 강의의 다음 편 주제다.
• 이미지를 작은 조각 단위의 패턴으로 나눠 인식하는 발상은 이미지 분석 전반에서 쓰이며, 음성 인식에서도 소리에서 발음으로, 발음에서 단어로 층층이 올라가는 같은 구조로 설명된다.
• 한국어 채널의 보충 설명처럼 교재에 나오는 고전적 기법과 현업에서 실제로 쓰는 기법이 다를 수 있다는 점을 함께 알아 두면 오해를 줄일 수 있다.

자주 묻는 질문

관련 AI 소식