가중치 초기화 제대로 이해하기: 대칭 문제와 기울기 폭발, Xavier·He 초기화
신경망 가중치를 0이나 같은 값으로 두면 왜 학습이 망가지는지, 무작위 초기화는 어떤 한계가 있는지, 그리고 층마다 활성값의 분산을 유지하는 Xavier·He 초기화의 원리와 차이를 차근차근 정리했습니다.
핵심 내용 읽기 →
AI TOPIC
기울기소실 최신 뉴스와 핵심 해설
기울기소실 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
활성화 함수 쉽게 이해하기: 시그모이드·ReLU·소프트맥스와 기울기 소실·죽은 뉴런 문제
활성화 함수가 신경망에 비선형성을 더하는 원리부터, 시그모이드의 기울기 소실, ReLU의 죽은 뉴런 문제와 Leaky ReLU 같은 해결책, 분류에 쓰는 출력층 소프트맥스까지 핵심 개념을 초보자도 이해하기 쉽게 정리했습니다.
핵심 내용 읽기 →
LSTM 장단기 메모리 쉽게 이해하기: RNN 기울기 폭발·소실 문제와 망각·입력·출력 게이트
순환 신경망(RNN)에서 기울기가 폭발하거나 소실하는 문제를, 장기·단기 두 경로로 나눈 LSTM이 어떻게 푸는지 망각·입력·출력 게이트와 시그모이드·tanh 함수, 두 회사 주가 예측 예시로 차근차근 풀이한다.
핵심 내용 읽기 →
배치 정규화란 무엇인가: 신경망의 불안정한 기울기 문제를 해결하고 학습 속도와 안정성을 높이는 정규화 기법
딥러닝 신경망에서 자주 발생하는 불안정한 기울기 문제를 해결하고 학습 속도를 끌어올리는 배치 정규화의 작동 원리와 표준화·스케일·오프셋 과정, 그리고 케라스로 한 줄에 구현하는 방법과 활성화 함수 앞뒤 배치 선택까지 쉽게 정리했습니다.
핵심 내용 읽기 →