딥러닝 기초 완전정복: 신경망·활성화함수·역전파를 한 번에 이해하기

핵심 메시지

• 딥러닝은 머신러닝의 한 갈래로, 여러 층의 인공 신경망을 써서 복잡한 패턴을 스스로 학습한다.
• 전통적 머신러닝은 사람이 직접 특징을 골라야 하지만, 딥러닝은 데이터에서 중요한 특징을 자동으로 찾아낸다.
• 신경망은 입력층·은닉층·출력층으로 이뤄지며, 은닉층을 여러 개 쌓을수록 '깊은(deep)' 네트워크가 된다.
• 활성화 함수는 비선형성을 더해 신경망이 복잡한 관계를 학습하게 해준다.
• 예측 후 손실을 계산하고 역전파로 가중치를 갱신하는 과정을 반복하며 모델이 정확해진다.

쉽게 이해하기

영상은 얼굴 인식, 음성 이해, 번역, 이미지 생성처럼 전통적인 머신러닝으로는 다루기 어려운 문제를 딥러닝이 풀어낸다는 점에서 출발한다. 딥러닝은 챗GPT, 구글 번역, 스마트폰 얼굴 잠금 해제, 자율주행차, 의료 영상 분석, 추천 시스템 등 오늘날 널리 쓰이는 기술의 바탕이 된다.

딥러닝은 머신러닝의 부분집합이다. 인공지능이 가장 넓은 개념이고, 그 안에 머신러닝이, 다시 그 안에 딥러닝이 들어간다. 즉 모든 딥러닝 모델은 머신러닝 모델이지만, 모든 머신러닝 모델이 딥러닝인 것은 아니다.

고양이와 개를 구분하는 예시로 차이를 설명한다. 전통적 머신러닝에서는 귀 모양, 꼬리 길이, 털 색깔 같은 특징을 사람이 직접 지정하는 '특징 공학(feature engineering)'이 필요하다. 반면 딥러닝에서는 라벨이 붙은 수천 장의 이미지를 넣어주면 신경망이 첫 층에서 단순한 경계선을, 다음 층에서 귀와 눈을, 마지막에 전체 형태를 인식하는 식으로 중요한 특징을 스스로 학습한다.

인공 신경망은 인간의 뇌에서 영감을 받았다. 뇌의 수많은 뉴런이 연결돼 정보를 처리하듯, 과학자들은 이를 단순화한 수학적 모델인 '인공 뉴런'을 만들었다. 다만 실제 뇌보다 훨씬 단순하다는 점을 영상은 분명히 한다.

하나의 인공 뉴런은 입력 x1, x2, x3에 각각 가중치를 곱한 가중합에 편향(bias)을 더하고, 활성화 함수를 거쳐 출력을 낸다. 가중치는 입력의 중요도를, 편향은 출력을 이동시키는 값을 뜻한다.

주요 인사이트

• 딥러닝의 가장 큰 장점은 '자동 특징 학습'이다. 사람이 일일이 특징을 설계하지 않아도 신경망이 데이터에서 단계적으로 패턴을 추출한다.
• 활성화 함수가 없으면 아무리 깊은 신경망도 단순한 선형 모델처럼 동작한다. ReLU는 은닉층에서 가장 흔히 쓰이고, 시그모이드는 0~1 출력으로 이진 분류에, 소프트맥스는 확률 합이 100%가 되도록 만들어 다중 분류에 쓰인다.
• 학습은 순전파로 예측을 만든 뒤 손실 함수로 오차를 재고, 역전파로 각 가중치가 오차에 기여한 정도를 거꾸로 계산해 옵티마이저가 가중치를 갱신하는 순환이다.
• 옵티마이저 중 Adam은 보통 더 빨리 수렴하고 수동 조정이 적게 필요해 가장 널리 쓰인다. 회귀에는 평균제곱오차, 분류에는 교차 엔트로피 손실이 쓰인다.
• 1,000장의 이미지를 모두 한 번 처리하면 1 에폭(epoch)이며, 학습은 보통 여러 에폭을 거치며 점진적으로 개선된다.

자주 묻는 질문

관련 AI 소식