신경망 완전 기초 — 뉴런·가중치·은닉층·활성화 함수를 처음부터 이해하기

핵심 메시지

• 신경망은 뇌도 마법도 아니며, 곱하고 더한 뒤 발화 여부를 결정하는 작은 계산기(뉴런)들의 묶음이다.
• 뉴런 하나는 입력마다 '중요도'인 가중치를 곱해 합산하고, 그 점수가 충분히 높은지로 발화를 결정한다.
• 진짜 힘은 뉴런을 층으로 쌓는 데서 나온다. 아래층은 단순한 특징을, 위층은 복잡한 개념을 담는 위계가 스스로 형성된다.
• 활성화 함수(예: ReLU)가 없으면 아무리 층을 쌓아도 한 층과 같아진다. 비선형성이 각 층에 새로운 능력을 준다.
• 가중치는 사람이 정하지 않는다. 손실 함수와 경사하강법으로 네트워크가 스스로 조정해 나간다.

쉽게 이해하기

영상은 신경망을 '뇌 같은 블랙박스'로 신비화하는 대신, 열 살 아이도 할 수 있는 사칙연산을 하는 작은 계산기들의 층으로 재정의한다. 이해의 출발점은 전체 네트워크가 아니라 뉴런 하나다.

뉴런은 몇 개의 숫자를 받아 하나의 숫자를 내놓는 작은 결정자다. 피자를 주문할지 정하는 상황을 예로 들면, 배고픔·피곤함·잔액이라는 세 입력이 있고 각 입력의 '중요도'가 가중치다. 뉴런은 입력마다 가중치를 곱해 모두 더한 하나의 점수를 만들고, 그 점수가 충분한지에 따라 발화할지를 결정한다.

뉴런 하나만으로는 똑똑하지 않다. 힘은 층으로 쌓는 데서 나온다. 얼굴을 알아보는 과정처럼, 첫 층은 가장자리 같은 사소한 특징을, 다음 층은 그것들을 모아 눈·코·입 같은 형태를, 그다음 층은 형태를 모아 하나의 얼굴을, 마지막 층은 '그것은 특정한 사람'이라는 결론을 만든다. 이 위계는 사람이 규칙으로 설계한 것이 아니라 네트워크가 스스로 찾아낸다.

네트워크는 입력층(원본 데이터), 출력층(정답), 그리고 실제 작업이 일어나는 은닉층으로 구성된다. 한 층의 모든 뉴런은 다음 층의 모든 뉴런과 연결되어 숫자를 조금씩 앞으로 전달한다. 은닉층은 결과가 겉으로 보이지 않아 '숨은'이라 불리며, 은닉층이 많은 네트워크가 바로 '딥러닝'의 '딥'이다.

여기에 결정적인 한 조각이 빠지면 구조가 무너진다. 곱하고 더하기만 반복하면 백 개의 층도 한 층과 같은 힘밖에 못 낸다. 그래서 비선형성을 더하는 활성화 함수가 필요하다. 가장 단순한 ReLU는 '음수면 0, 양수면 그대로'라는 규칙 하나로 각 층이 진짜로 새로운 변형을 하게 만든다. 마지막으로 가중치는 손실 함수가 오차를 재고 경사하강법이 각 가중치를 조금씩 밀어 주는 과정을 수백만 번 반복하며 무작위 값에서 정교한 값으로 자리 잡는다.

주요 인사이트

• '하나의 뉴런을 이해하면 전체를 이해한다'는 관점 — 나머지는 같은 구조의 복사·붙여넣기에 가깝다.
• 은닉층은 신비한 요소가 아니라 단지 '겉으로 드러나지 않는 중간 계산'일 뿐이며, '딥러닝'은 그 층이 많다는 뜻에 지나지 않는다.
• 활성화 함수가 없으면 깊이가 낭비된다 — 비선형성이야말로 여러 층을 쌓는 의미를 만든다.
• 지능은 뉴런 하나가 아니라 단순한 단계들이 층층이 쌓여 추상화가 올라가는 구조에서 '숨어' 나온다.
• 신경망은 결국 '구조(뉴런·층·활성화)'와 '학습(손실·경사하강법)'의 합이라는 한 문장으로 요약된다.

자주 묻는 질문

관련 AI 소식