스탠퍼드 CS229 신경망 강의 정리: ReLU와 잔차 연결, 레이어 정규화까지 딥러닝 기초

핵심 메시지

• 입력을 제곱하는 식의 변형은 변수만 바꾸면 다시 선형 모델이 되므로, 딥러닝에서 말하는 비선형은 '데이터가 아니라 파라미터에 대한 비선형'을 뜻한다.
• 회귀의 평균제곱오차와 분류의 교차 엔트로피는 모두 같은 틀에서 나온다. 예제마다 손실을 정의하고 평균 내어 파라미터에 대해 최소화하는 구조는 선형 모델과 동일하다.
• 확률적 경사하강법을 쓰는 이유는 잡음을 넣어 국소 최솟값을 탈출하기 위해서가 아니라, 전체 데이터의 기울기를 매번 계산하는 비용이 감당되지 않기 때문이다.
• 고차원에서는 나쁜 국소 최솟값이 그리 많지 않다는 것이 학계의 대체적인 가설이며, 기울기가 0이면서 헤시안이 모든 방향으로 양의 준정부호인 점 자체가 매우 까다로운 조건이기 때문이다.
• 잔차 연결과 레이어 정규화는 엄밀한 증명보다는 '차이만 모델링하자', '값이 커져 폭발하지 않게 하자'는 직관과 경험적 성공에서 출발한 부품이다.

쉽게 이해하기

스탠퍼드 CS229 2026년 봄학기의 이번 강의는 딥러닝 자체를 다루기보다 지도학습의 틀을 비선형 모델로 확장하는 데 초점을 둔다. 강사는 앞선 선형 모델 강의와 표기를 맞춘 뒤, 파라미터에 대해 비선형인 모델이라는 개념을 먼저 못 박는다. 입력을 제곱해 넣는 식의 변형은 새 변수로 치환하면 다시 선형 모델이 되므로, 학습의 성격이 달라지는 진짜 비선형이 아니라는 것이다.

틀 자체는 선형 모델과 같다. 회귀에서는 예측과 정답의 차이를 제곱한 손실을, 다중 클래스 분류에서는 소프트맥스로 확률을 만든 뒤 음의 로그 가능도인 교차 엔트로피 손실을 쓴다. 강사는 회귀의 제곱 오차 역시 정답에 가우시안 잡음이 더해졌다고 가정하면 로그 가능도에서 그대로 유도된다는 점을 칠판에서 직접 보여 준다. 달라지는 것은 모델이 선형이냐 아니냐뿐이다.

최적화 부분에서 인상적인 대목은 확률적 경사하강법을 쓰는 이유에 대한 설명이다. 흔한 오해와 달리 잡음으로 국소 최솟값을 빠져나가기 위해서가 아니다. 2015년만 해도 100만 개였던 데이터가 이제는 1조 토큰 규모가 되면서 전체 기울기를 한 번 계산하는 것조차 불가능해졌고, 게다가 개별 예제들의 기울기는 서로 상관이 높아 일부만 봐도 방향을 알 수 있다는 것이다. 한편 배치 크기를 너무 줄이면 GPU 활용률이 떨어져 실무에서는 적당한 크기의 미니배치를 쓴다.

신경망의 부품은 집값 예측이라는 낡았지만 직관적인 예시에서 출발한다. 면적이 커질수록 값이 오르지만 처음에는 완만한 곡선을 만들려면 max(t, 0) 형태의 함수가 필요하고, 이것이 바로 ReLU다. 이 활성화 함수 하나에 가중치 벡터와 편향을 붙이면 뉴런 하나가 되고, 여러 뉴런을 쌓아 행렬 곱과 활성화의 반복으로 표기하면 우리가 아는 다층 신경망이 된다. 강사는 결국 '벡터에 행렬을 곱하고 편향을 더한 뒤 활성화를 원소별로 적용한다'는 문장만 기억하면 된다고 정리한다.

마지막으로 지금도 대규모 언어모델에서 쓰이는 두 부품을 다룬다. 잔차 연결은 이미 정답에 가까워졌다면 차이만 모델링하는 편이 쉽다는 직관에서 나왔고, 실험적으로 블록당 두세 층이 가장 잘 맞았지만 그 이유는 근본적으로 설명되지 않았다고 솔직하게 인정한다. 레이어 정규화는 평균과 표준편차로 정규화한 뒤 학습 가능한 베타·감마를 다시 붙이는 방식이며, 요즘 쓰이는 RMS 정규화는 평균을 빼는 단계를 생략한 더 단순한 형태다.

주요 인사이트

• 강사는 '왜 이 활성화 함수가 좋은가'라는 질문에 상당 부분이 시행착오와 경험이라고 답한다. ReLU가 매끄럽지 않아 오히려 불리할 수 있다는 점, GELU 같은 함수가 0 부근에서 살짝 아래로 파였다가 올라간다는 점 정도가 구체적인 근거로 제시된다.
• 국소 최솟값에 대한 통념도 뒤집힌다. 1차원에서는 함정이 많아 보이지만, 고차원에서는 모든 방향으로 곡률이 양수인 점을 찾기가 오히려 어렵다. 스키를 타고 산을 내려오면 결국 어느 골짜기로든 이어진다는 비유가 이 직관을 잘 담고 있다.
• 레이어 정규화의 효용 중 하나는 스케일 불변성이다. 입력이나 가중치에 상수를 곱해도 출력이 바뀌지 않아 초기화가 훨씬 관대해지지만, 순전파가 스케일 불변이어도 기울기는 그렇지 않아 문제가 최적화 쪽으로 옮겨 갈 뿐이라는 단서도 함께 붙는다.
• 합성곱 신경망은 사실상 특정 구조를 가진 행렬 곱, 즉 0이 대부분이고 같은 파라미터를 옮겨 가며 공유하는 필터로 요약된다. 강사는 요즘은 비전에서도 트랜스포머를 많이 쓰기 때문에 이 강의에서는 건너뛰어도 무방하다고 말한다.

자주 묻는 질문

관련 AI 소식