경사 하강법 원리 단계별 정리: 손실 함수와 학습률로 최적값을 찾는 방법과 확률적 경사 하강법

핵심 메시지

• 경사 하강법은 선형·로지스틱 회귀, t-SNE 등 다양한 문제의 파라미터를 최적화하는 범용 전략이다.
• 먼저 손실 함수(예: 잔차 제곱합)의 도함수를 구하고, 파라미터를 무작위 값에서 시작해 반복적으로 개선한다.
• 기울기가 가파른 최적값에서 멀 때는 큰 걸음을, 가까워질수록 작은 걸음을 밟는다.
• 걸음 크기는 기울기에 학습률이라는 작은 수를 곱해 정하며, 학습률에 결과가 민감하다.
• 걸음 크기가 아주 작아지거나 최대 반복 횟수에 도달하면 멈춘다.

쉽게 이해하기

경사 하강법은 통계와 머신러닝에서 아주 많은 것을 최적화하는 데 쓰인다. 선형 회귀에서는 절편과 기울기를, 로지스틱 회귀에서는 곡선을, t-SNE에서는 군집을 최적화한다. 하나의 직선을 최적화하는 법을 익히면 같은 전략을 이 모든 문제에 그대로 적용할 수 있다는 점이 핵심이다.

영상은 몸무게(x축)와 키(y축) 데이터를 예로 든다. 먼저 기울기는 최소제곱 추정값 0.64로 고정하고 절편만 경사 하강법으로 찾는다. 절편을 0 같은 무작위 값으로 시작하고, 직선이 데이터에 얼마나 잘 맞는지 잔차 제곱합으로 평가한다. 잔차 제곱합은 머신러닝 용어로 손실 함수의 한 종류다.

절편에 대해 잔차 제곱합의 도함수를 구하면, 어떤 절편 값에서든 곡선의 기울기를 계산할 수 있다. 최소제곱법이라면 기울기가 0이 되는 지점을 바로 찾겠지만, 경사 하강법은 초기 추정값에서 출발해 조금씩 걸음을 옮겨 최솟값에 다가간다. 도함수가 0이 되는 지점을 직접 풀 수 없는 상황에서도 쓸 수 있다는 것이 큰 장점이다.

걸음 크기는 그 지점의 기울기에 학습률이라는 작은 수를 곱해 정한다. 새 절편은 이전 절편에서 걸음 크기를 뺀 값이다. 기울기가 0에 가까울수록 걸음이 작아져, 예시에서는 여섯 걸음 만에 절편이 최소제곱 추정값과 같은 0.95에 수렴했다. 걸음 크기가 0.001보다 작아지거나 반복이 최대 1000회를 넘으면 멈춘다.

절편과 기울기를 함께 구할 때는 손실 함수를 각 파라미터로 편미분한다. 이렇게 같은 함수에 대한 둘 이상의 도함수를 묶은 것을 기울기(그래디언트)라 하며, 이 기울기를 따라 손실 함수의 가장 낮은 지점으로 내려가기 때문에 '경사 하강법'이라 부른다. 파라미터가 더 많아져도 도함수를 더 구할 뿐 나머지 절차는 똑같다.

주요 인사이트

• 경사 하강법이 강력한 이유는 도함수가 0이 되는 지점을 대수적으로 풀 수 없을 때도 초기 추정값에서 반복적으로 최솟값에 다가갈 수 있기 때문이다. 그래서 아주 다양한 상황에 쓰인다.
• 걸음 크기를 기울기에 비례하게 만들되 학습률로 조절하는 것이 핵심이다. 두 번째 예시에서는 첫 예시의 큰 학습률이 통하지 않아, 경사 하강법이 학습률에 민감하다는 점이 드러난다.
• 실무에서는 적절한 학습률을 크게 시작해 점점 줄이는 방식으로 자동으로 정할 수 있어, 학습률을 지나치게 걱정할 필요는 없다.
• 데이터가 수백만 개면 매 단계 도함수 계산이 오래 걸린다. 이때 확률적 경사 하강법(SGD)은 매 단계 전체가 아닌 무작위 부분집합만 사용해 계산 시간을 줄인다.

자주 묻는 질문

관련 AI 소식