역전파 알고리즘 원리 정리: 손실 함수와 경사하강법, 연쇄법칙으로 본 딥러닝 학습 과정

핵심 메시지

• 역전파는 신경망이 데이터로부터 학습할 수 있게 해주는 핵심 절차이며, 오늘날의 대규모 언어 모델이 가능해진 근본 이유로 소개된다.
• 학습의 출발점은 예측값과 정답의 거리를 수치로 만드는 손실 함수이며, 이진 분류에는 로그 손실, 연속값 예측에는 평균제곱오차가 대표적으로 쓰인다.
• 손실을 최소로 만드는 지점은 기울기가 0인 곳이지만 그 방정식을 직접 푸는 것은 매우 어려워, 실제로는 경사하강법으로 조금씩 내려가며 근사한다.
• 역전파는 출력 쪽에서 계산한 기울기를 계산 그래프를 따라 뒤로 흘려보내며, 각 계층의 파라미터에 대한 기울기를 연쇄법칙의 곱셈으로 구해 저장한다.
• 모든 계층의 기울기를 다 모은 뒤에야 각 계층의 파라미터를 한꺼번에 갱신하는 최적화 단계가 실행된다.

쉽게 이해하기

영상은 딥러닝 모델이 '학습한다'는 말의 실체가 무엇인지부터 짚는다. 입력을 신경망에 통과시키면 예측값이 나오고, 이 예측값을 우리가 맞히고 싶은 정답과 비교해야 모델에게 무엇을 고쳐야 하는지 알려줄 수 있다. 그 비교를 하나의 숫자로 만들어 주는 장치가 손실 함수다. 예측이 정답에서 멀수록 값이 커지도록 설계하기 때문에, 학습의 목표는 자연스럽게 이 손실 함수를 최소화하는 문제로 바뀐다.

손실 함수의 예시로는 두 가지가 제시된다. 하나는 이진 분류에 주로 쓰이는 로그 손실로, 정답과 예측을 교차 엔트로피 형태로 비교하되 양성 표본과 음성 표본을 모두 반영한다. 다른 하나는 평균제곱오차로, 예측과 정답 사이의 제곱 거리를 재고 그 거리를 줄이는 방향으로 학습한다. 어떤 손실 함수를 고르든 중요한 조건이 하나 있는데, 미분을 취하기 쉬운 형태여야 한다는 점이다.

그렇다면 손실을 어떻게 줄일까. 함수의 최솟값은 접선의 기울기가 0이 되는 지점에 놓이므로 최적화할 변수에 대한 기울기를 0으로 놓고 풀면 될 것 같지만, 실제로 이 방정식을 푸는 일은 대단히 어렵기 때문에 경사하강법을 쓴다. 현재 파라미터 위치에서 기울기를 재고, 손실이 줄어드는 방향으로 학습률만큼 조금씩 이동하는 과정을 반복해 점점 더 나은 가중치 조합을 찾아간다. 다만 기울기가 0인 지점이 항상 전역 최솟값인 것은 아니며 지역 최솟값일 수도 있다는 한계가 함께 언급된다.

역전파의 실제 계산은 뒤에서 앞으로 진행된다. 먼저 손실 함수를 신경망 출력으로 미분한 값을 구해 출력 노드에 저장한다. 그다음 마지막 계층의 파라미터에 대한 기울기는 '출력을 그 파라미터로 미분한 값'과 '이미 저장해 둔 출력에 대한 손실의 기울기'를 곱해 얻는다. 같은 방식으로 계층 사이의 중간 노드에 대한 기울기도 앞 노드에서 가져와 곱셈 한 번으로 구한 뒤 저장하고, 이 과정을 입력 쪽까지 반복한다.

이렇게 모든 계층의 기울기가 확보되면 마지막으로 최적화 단계가 실행된다. 각 계층은 자신에게 저장된 기울기를 이용해 파라미터를 갱신하고, 첫 계층부터 마지막 계층까지 같은 규칙이 동일하게 적용된다. 정리하면 한 번의 학습 반복은 출력을 구하는 순전파, 손실과 그 기울기 계산, 연쇄법칙을 이용한 기울기의 역방향 전달, 그리고 파라미터 갱신이라는 네 단계로 이루어진다.

주요 인사이트

• 역전파가 빠른 이유는 새로운 미분을 매번 처음부터 계산하지 않기 때문이다. 앞 단계에서 이미 구해 둔 기울기를 노드에 저장해 두고 재사용하므로, 계층이 늘어나도 계산이 곱셈 한 번씩 덧붙는 형태로 이어진다.
• 손실 함수를 고를 때 '얼마나 잘 맞히는지'만 볼 것이 아니라 미분하기 쉬운 형태인지도 함께 봐야 한다. 학습 알고리즘 전체가 이 함수의 도함수 위에서 돌아가기 때문이다.
• 기울기 앞에 붙는 음의 부호에는 이유가 있다. 기울기는 함수가 가장 빠르게 커지는 방향을 가리키므로, 손실을 줄이려면 그 반대 방향으로 움직여야 한다.
• 경사하강법은 기울기가 0에 가까워지는 것을 종료 신호로 삼지만, 그 지점이 전역 최솟값이라는 보장은 없다. 학습이 멈췄다고 해서 최선의 해에 도달했다고 단정할 수 없는 이유가 여기에 있다.
• 학습률은 한 번에 얼마나 멀리 이동할지를 정하는 조절 값이다. 같은 기울기를 구하더라도 이 값을 어떻게 잡느냐에 따라 이동 폭이 달라진다.

자주 묻는 질문

관련 AI 소식