가중치 감쇠(Weight Decay)란? 과적합 막는 L2 정규화 원리와 AdamW 정리
신경망 과적합을 줄이는 가중치 감쇠(L2 정규화)의 작동 원리를 쉽게 정리했다. 손실 함수에 가중치 제곱 페널티를 더하는 방식, 정규화 강도 람다 조절, SGD와 AdamW의 차이, 실전 적용법까지 한눈에 살펴본다.
핵심 내용 읽기 →
AI TOPIC
가중치감쇠 최신 뉴스와 핵심 해설
가중치감쇠 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
그로킹(Grokking)이란? 신경망이 암기를 끝낸 뒤 뒤늦게 일반화하는 현상 정리
학습 손실이 0이 된 뒤에도 한참 더 훈련하면 테스트 정확도가 갑자기 치솟는 그로킹 현상을 정리했다. 암기에서 이해로의 상전이, 그리고 가중치 감쇠·회로 형성·SGD 편향이라는 세 가지 동인을 살펴본다.
핵심 내용 읽기 →