신경망은 어떻게 학습하는가: 손실 함수와 경사하강법, 역전파의 작동 원리 한 번에 이해하기

핵심 메시지

• 신경망의 학습은 정답을 알려주는 과정이 아니라, 틀린 정도를 숫자로 재고 그 숫자를 체계적으로 줄여 나가는 과정이다.
• 손실 함수는 예측과 정답의 차이를 하나의 숫자로 압축해, 지금 이 신경망이 얼마나 못하고 있는지를 알려준다.
• 가중치가 두 개면 손실은 언덕과 골짜기가 있는 지형이 되고, 학습은 안개 속에서 발밑 경사만 느끼며 골짜기로 내려가는 일과 같다.
• 역전파는 연쇄 법칙을 이용해 출력 쪽에서 입력 쪽으로 거슬러 가며, 각 가중치가 오차에 얼마나 책임이 있는지를 계산한다.
• 학습률은 한 걸음의 크기다. 너무 크면 골짜기를 지나쳐 버리고, 너무 작으면 도달은 하지만 한참 걸린다.

쉽게 이해하기

고양이 사진을 보고 고양이면 1, 아니면 0을 내놓는 아주 작은 신경망을 상상해 보자. 이미지는 픽셀 값이라는 숫자 뭉치로 신경망에 들어간다. 값이 0.8인 픽셀이 0.5라는 가중치를 만나 0.4가 되고, 다른 입력들과 더해진 뒤 활성화 함수를 거쳐 다음 층으로 넘어간다. 이 계산이 층층이 이어져 최종 출력 0.2가 나왔다면, 정답이 1인 이 신경망은 아직 고양이가 무엇인지 전혀 모르는 상태다.

고치려면 먼저 얼마나 틀렸는지를 재야 한다. 그 역할을 하는 것이 손실 함수다. 가장 단순한 방식은 예측과 정답의 차이를 제곱하는 것으로, 0.2와 1.0의 차이인 0.8을 제곱하면 0.64가 나온다. 이 숫자 하나가 신경망의 실패를 요약한다. 문제는 그다음이다. 신경망 안에는 가중치가 수백 개, 실제로는 수백만 개나 있는데 그중 어느 것이 이 오차를 만들었고, 어느 방향으로 얼마나 밀어야 하는지를 알아내야 한다.

가중치가 하나뿐이라면 값을 바꿔 가며 손실을 그려 보면 곡선이 나오고, 가장 낮은 지점을 찾으면 된다. 가중치가 둘이면 언덕과 골짜기가 있는 2차원 지형이 되고, 실제 신경망은 수백만 차원이라 그림으로 볼 수조차 없다. 그래도 원리는 같다. 짙은 안개 속을 걷는 등산객처럼 골짜기는 보이지 않아도 발밑의 경사는 느낄 수 있다. 내리막 방향으로 한 걸음 딛고 다시 경사를 느끼며 걷는 것, 그것이 경사하강법이다.

경사를 알려면 앞쪽 가중치 하나를 건드렸을 때 그 영향이 뒤쪽 모든 층을 지나 최종 손실까지 어떻게 전달되는지를 계산해야 한다. 도미노에 비유하면, 첫 번째 도미노를 살짝 밀었을 때 마지막 도미노가 어디에 떨어질지는 중간의 모든 도미노에 달려 있다. 연쇄 법칙은 이 계산을 끝에서부터 거꾸로 풀어낸다. 출력이 바뀌면 손실이 얼마나 바뀌는지부터 재고, 한 층씩 뒤로 가며 곱해 나가면 맨 앞 가중치가 짊어질 책임의 몫이 정확히 나온다. 이 되돌아오는 책임의 흐름이 역전파다.

이제 각 가중치는 자기 기울기를 갖는다. 갱신 규칙은 놀랄 만큼 간단해서, 가중치에서 기울기에 작은 수인 학습률을 곱한 값을 빼면 된다. 순전파 한 번, 손실 계산 한 번, 역전파 한 번, 갱신 한 번이 한 번의 반복이고 이것을 수천 번, 수백만 번 되풀이한다. 영상 속 예시에서 손실은 1회에 0.64, 100회에 0.31, 1000회에 0.08로 줄고 1만 회에는 0에 가까워진다. 누구도 고양이의 생김새를 코드로 적어 주지 않았지만, 신경망은 오차를 재고 줄이는 일만 반복해 고양이를 알아보게 됐다.

주요 인사이트

• 학습을 '지식 주입'이 아니라 '오차 측정과 감소'로 보면, 왜 현대 AI에 규칙을 일일이 적어 넣지 않는지가 자연스럽게 이해된다.
• 손실 지형이라는 비유는 수백만 차원을 시각화할 수 없다는 한계를 인정하면서도, 계산이 왜 같은 방식으로 작동하는지를 설명해 준다.
• 역전파의 핵심은 새로운 수학이 아니라 미분의 연쇄 법칙을 끝에서부터 적용하는 계산 순서에 있다.
• 학습률은 정확도와 속도를 맞바꾸는 손잡이라서, 값 하나만 잘못 잡아도 학습이 발산하거나 한없이 느려질 수 있다.

자주 묻는 질문

관련 AI 소식