역전파 미적분 완전 정복 — 연쇄 법칙으로 이해하는 신경망 학습 원리

핵심 메시지

• 역전파의 핵심은 비용 함수가 각 가중치와 편향에 얼마나 민감하게 반응하는지를 구하는 것이다.
• 가중치의 작은 변화 → 가중합 z의 변화 → 활성화 a의 변화 → 비용의 변화로 이어지며, 이 연쇄를 곱한 것이 연쇄 법칙이다.
• 층마다 뉴런이 하나뿐인 단순 네트워크로 시작하면 세 개의 도함수를 곱하는 구조가 명확히 드러난다.
• 전체 비용 함수의 미분은 모든 학습 예제에 대해 구한 값을 평균낸 것이며, 그라디언트 벡터의 한 성분이 된다.
• 같은 연쇄 법칙을 거꾸로 반복 적용하는 것이 '역으로 전파(backpropagation)'라는 이름의 의미다.

쉽게 이해하기

이 영상은 역전파를 직관적으로 다룬 앞 편에 이어, 그 알고리즘 뒤에 있는 미적분을 조금 더 격식을 갖춰 풀어낸다. 목표는 머신러닝 종사자들이 신경망의 관점에서 연쇄 법칙을 어떻게 사고하는지를 보여 주는 것으로, 일반적인 미적분 강의와는 결이 다르다.

설명은 각 층에 뉴런이 하나뿐인 가장 단순한 네트워크에서 출발한다. 이 네트워크는 세 개의 가중치와 세 개의 편향으로 결정되며, 마지막 활성화 a^(L)이 원하는 값 y와 얼마나 다른지를 (a^(L) − y)²이라는 비용으로 측정한다. 여기서 마지막 활성화는 가중합 z^(L) = w·a^(L-1) + b를 시그모이드나 ReLU 같은 비선형 함수에 통과시켜 얻는다.

핵심 질문은 '비용 C가 가중치 w^(L)에 얼마나 민감한가', 즉 ∂C/∂w^(L)이다. 가중치의 미세한 변화는 z를 바꾸고, z는 a를 바꾸며, a는 비용을 바꾼다. 이 세 단계의 비율(∂z/∂w, ∂a/∂z, ∂C/∂a)을 곱하면 원하는 민감도가 나오는데, 이것이 바로 연쇄 법칙이다.

각 도함수는 구체적으로 계산된다. ∂C/∂a = 2(a^(L) − y)로 출력이 정답과 크게 어긋날수록 값이 커지고, ∂a/∂z는 사용한 활성화 함수의 도함수이며, ∂z/∂w는 직전 뉴런의 활성화 a^(L-1)이다. 즉 앞 뉴런이 강하게 활성화될수록 그 가중치의 변화가 더 큰 영향을 준다.

편향에 대한 민감도는 ∂z/∂b = 1이라는 점만 다를 뿐 거의 동일하고, 직전 활성화에 대한 민감도(∂z/∂a^(L-1) = w^(L))를 구하면 같은 연쇄 법칙을 한 층 뒤로 반복해 나갈 수 있다. 층마다 여러 뉴런이 있어도 첨자만 늘어날 뿐, 한 뉴런이 여러 경로로 비용에 영향을 주므로 그 경로들을 더해 준다는 차이만 생긴다.

주요 인사이트

• 복잡해 보이는 역전파도 결국 '한 번에 하나의 편미분'을 구하는 문제로 분해되며, 연쇄 법칙이 그 분해의 도구다.
• ∂z/∂w = a^(L-1)이라는 결과는 '함께 발화하는 뉴런이 함께 연결된다'는 헤브의 직관을 수식으로 보여 준다.
• 단일 뉴런 예제에서 얻은 공식이 다중 뉴런 네트워크에서도 본질적으로 그대로 유지되므로, 작은 예제를 완전히 이해하는 것이 곧 전체를 이해하는 지름길이다.
• 여기서 구한 편미분들이 모여 그라디언트 벡터를 이루고, 경사하강법이 그 벡터를 따라 비용을 반복적으로 낮춘다.

자주 묻는 질문

관련 AI 소식