스탠퍼드 CS229 신경망 강의 정리: ReLU와 잔차 연결, 레이어 정규화까지 딥러닝 기초
스탠퍼드 CS229 2026년 봄학기 신경망 첫 강의 정리. 파라미터에 대한 비선형이란 무엇인지부터 확률적 경사하강법을 쓰는 진짜 이유, ReLU와 잔차 연결, 레이어 정규화까지 딥러닝의 기본 부품을 차례로 훑는다.
핵심 내용 읽기 →
AI TOPIC
레이어정규화 최신 뉴스와 핵심 해설
레이어정규화 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
배치 정규화와 레이어 정규화의 차이 — 트랜스포머가 배치 노름 대신 레이어 노름을 쓰는 이유
배치 노름과 레이어 노름은 신경망 값을 안정시키는 같은 목표를 갖지만 어느 축으로 평균을 내는가가 다르다. 트랜스포머가 가변 길이 패딩과 작은 배치, 토큰 단위 추론 때문에 배치 노름을 버리고 레이어 노름을 택한 이유를 쉽게 정리했다.
핵심 내용 읽기 →