옵티마이저 완전 정복: SGD·모멘텀·RMSprop·Adam의 원리와 수학, 벤치마크 비교까지

핵심 메시지

• 옵티마이저는 역전파 과정에서 모델 가중치를 어떻게 갱신할지 결정하는 알고리즘이다.
• SGD는 가장 단순하지만 손실 최소점까지 많은 단계를 돌아가며 느릴 수 있다.
• 모멘텀은 과거 그래디언트를 누적해 같은 방향으로 더 큰 걸음을 딛게 한다.
• RMSprop은 파라미터마다 학습률을 따로 조절해 그래디언트 크기 차이를 보정한다.
• Adam은 모멘텀(1차 모멘트)과 RMSprop(2차 모멘트)을 결합하고 편향 보정을 더한 방식이다.

쉽게 이해하기

옵티마이저는 역전파 동안 모델의 가중치를 조정하는 알고리즘으로, 신경망이든 선형회귀든 학습 과정의 핵심이다. 가장 단순한 것이 확률적 경사하강법(SGD)이며, 그중에서도 특히 강력해 현대 모델과 LLM 학습에 널리 쓰이는 것이 Adam(적응적 모멘트)이다. 영상은 2015년 발표된 Adam 원 논문이 17만 6천 회 인용되었고, 2018년에는 원 논문 증명의 작은 문제를 바로잡은 AMSGrad 변형이 나왔다고 소개한다.

학습은 입력으로 예측을 내고, 정답과 비교해 손실을 구한 뒤, 각 파라미터에 대한 손실의 그래디언트를 계산하는 과정을 반복한다. 그래디언트는 가장 가파른 상승 방향을 가리키므로 -1을 곱해 하강 방향으로 삼고, 학습률(알파)을 곱해 파라미터를 조금씩 갱신한다. SGD는 이 그래디언트에 학습률을 곱해 빼는 가장 기본적인 방식이지만, 최소점까지 우회하며 많은 단계를 밟아 비효율적일 수 있다. 더 빠르고 곧게 내려가려는 시도에서 모멘텀, RMSprop, Adam이 등장한다.

모멘텀은 언덕을 굴러 내려가는 공처럼 같은 방향의 그래디언트가 이어지면 속도를 붙인다. 속도 항 V와 하이퍼파라미터 베타(흔히 0.9)를 도입해 과거 그래디언트의 지수가중평균을 취하며, 최근 그래디언트일수록 큰 가중치를 받는다. 다만 최소점을 지나쳐 되돌아오는 오버슈팅이 생길 수 있는데, 네스테로프 가속 경사(NAG)는 먼저 이전 갱신 방향으로 한 걸음 내디딘 뒤 보정 단계를 더해 조금 더 통제된 모멘텀을 제공한다.

손실 지형에서 한 파라미터의 그래디언트가 다른 파라미터보다 훨씬 클 때는 모멘텀도 크게 우회한다. RMSprop은 파라미터마다 학습률을 따로 적응시켜 이를 해결한다. 속도 항에 그래디언트의 제곱을 지수가중평균으로 누적하고, 갱신 시 학습률에 '그래디언트를 (그 제곱 평균의 제곱근+엡실론)으로 나눈' 값을 곱한다. 엡실론(약 1e-8)은 0으로 나누는 것을 막는다. 이는 과거 제곱 그래디언트를 계속 더하기만 해 학습률이 점점 작아지던 Adagrad의 문제를, 지수가중평균으로 완화한 것이다(Adadelta도 과거 그래디언트 범위를 제한하는 대안이다).

Adam은 모멘텀의 1차 모멘트(평균)와 RMSprop의 2차 모멘트(분산 성격)를 결합한다. M과 V가 0으로 초기화되어 학습 초반 그래디언트가 과소평가되는 문제를, 편향 보정 항 m̂·v̂로 바로잡는다. 영상에서는 베타1·베타2를 각각 0.9와 0.99로 설정한다. 인위적으로 만든 '보스' 손실 함수에서 Adam은 지역 최소점에 들어갔다가 빠져나와 전역 최소점을 먼저 찾는 모습을 보인다. 다만 학습률이 너무 높으면 전역 최소점을 지나쳐 지역 최소점에 갇힐 수 있어 하이퍼파라미터 조정이 중요하다.

벤치마크에서는 FashionMNIST, ResNet-18과 CIFAR-10 등에서 Adam과 RMSprop이 SGD 계열보다 우수했고, 여러 메타분석도 비슷한 결과를 보였다. 다만 강화학습(퐁 환경)에서는 실행마다 편차가 커서 어떤 때는 RMSprop이, 어떤 때는 Adam이 이겼다. 강화학습은 표본이 독립·동일분포가 아니어서 모멘텀이 오히려 해가 될 수 있다. 마지막으로 Adam은 파라미터마다 두 개의 추가 값을 저장해 메모리를 약 3배 쓰는데, 마이크로소프트 딥스피드의 ZeRO 옵티마이저는 이 상태를 여러 GPU에 나눠 큰 모델 학습을 약 300% 가속한다.

주요 인사이트

• SGD가 최소점까지 우회하며 많은 단계를 밟는다는 한계가, 모멘텀·RMSprop·Adam 같은 발전된 옵티마이저가 등장한 근본 동기다.
• 모멘텀은 과거 그래디언트의 지수가중평균으로 '방향의 확신'을 키우고, RMSprop은 파라미터별 학습률 적응으로 '크기의 불균형'을 바로잡는다 — Adam은 이 둘을 합친 것이다.
• Adam의 편향 보정은 M·V가 0에서 시작해 초반 그래디언트가 과소평가되는 문제를 해결하며, 학습이 진행되면 그 효과가 자연히 사라진다.
• 옵티마이저 성능은 손실 함수와 학습률에 크게 좌우되므로, Adam이 좋은 출발점이더라도 만능은 아니며 문제에 따라 실험이 필요하다.
• 강화학습처럼 표본이 독립·동일분포가 아닌 상황에서는 모멘텀이 오히려 방해가 될 수 있어 RMSprop이 유리한 경우가 있다.

자주 묻는 질문

관련 AI 소식