스탠퍼드 CS229 신경망 강의 정리: ReLU와 잔차 연결, 레이어 정규화까지 딥러닝 기초
스탠퍼드 CS229 2026년 봄학기 신경망 첫 강의 정리. 파라미터에 대한 비선형이란 무엇인지부터 확률적 경사하강법을 쓰는 진짜 이유, ReLU와 잔차 연결, 레이어 정규화까지 딥러닝의 기본 부품을 차례로 훑는다.
핵심 내용 읽기 →
AI TOPIC
잔차 연결 최신 뉴스와 핵심 해설
잔차 연결 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
하이퍼 커넥션과 mHC 해설: 트랜스포머 잔차 연결을 학습 가능하게 바꾼 방법과 안정화 기법
깊은 신경망을 떠받쳐 온 잔차 연결은 오랫동안 형태가 고정돼 있었다. 연결의 세기까지 학습하는 하이퍼 커넥션과, 그 과정에서 생기는 학습 불안정을 이중 확률 행렬로 잡아낸 개선안을 차근차근 정리했다.
핵심 내용 읽기 →
DeepSeek mHC 해설: 잔차 연결·하이퍼커넥션을 넘어 안정적으로 깊은 신경망 훈련하기
ResNet의 잔차 연결에서 하이퍼커넥션, 그리고 DeepSeek의 다양체 제약 하이퍼커넥션(mHC)까지의 흐름을 정리했다. 여러 정보 통로를 열되 신호 폭주를 막는 버코프 다면체 제약의 아이디어를 살펴본다.
핵심 내용 읽기 →
딥시크 mHC 논문 해설 — 잔차 연결과 하이퍼 연결의 한계를 넘다
딥시크가 2026년 첫 논문 'mHC(Manifold-Constrained Hyper-Connections)'를 공개했다. 2016년 이후 거의 그대로였던 잔차 연결을 확장하면서도 학습 안정성을 되살린 핵심 아이디어를 정리했다.
핵심 내용 읽기 →