그래디언트 누적이란? GPU 메모리 부족에서도 큰 배치 효과를 내는 딥러닝 학습 기법

핵심 메시지

• 큰 배치는 학습을 안정시키지만 GPU 메모리에 한꺼번에 올리지 못하는 경우가 많다.
• 그래디언트 누적은 작은 마이크로배치 여러 개의 경사를 합산해 한 번에 갱신함으로써, 메모리는 적게 쓰면서 큰 배치의 학습 신호를 얻는 기법이다.
• 핵심은 옵티마이저 갱신 전까지 zero_grad를 호출하지 않고 backward를 반복해 경사를 쌓고, 마지막에 step을 한 번만 호출하는 것이다.
• 손실을 누적 스텝 수로 나눠야 경사 크기가 진짜 큰 배치의 평균과 일치한다.
• 갱신이 덜 자주 일어나 최적화 동역학이 바뀌므로 학습률이나 누적 스텝 수를 함께 조정해야 한다.

쉽게 이해하기

대형 모델을 학습할 때 흔히 부딪히는 벽이 있다. 모델은 안정적 학습을 위해 큰 배치를 원하지만 GPU에는 작은 조각만 들어간다. 보통은 더 좋은 하드웨어를 사거나 복잡한 분산 학습을 떠올리지만, 그래디언트 누적은 추가 메모리 없이 같은 효과를 내는 실용적 해법이다.

원리는 큰 식사를 작게 나눠 먹는 것에 비유된다. 한 입은 작지만 여러 입이 모이면 배가 부르듯, 여러 작은 마이크로배치의 경사 기여분을 합산한 뒤 한 번에 파라미터를 갱신하면 큰 배치로 한 번 갱신한 것과 같은 수학적 효과가 난다. 대가는 갱신이 묶음 단위로 지연된다는 점이다.

PyTorch 구현 흐름은 단순하다. 루프 시작 전에 zero_grad로 경사를 한 번만 초기화하고, 각 마이크로배치마다 손실을 누적 스텝 수로 나눈 뒤 backward를 호출해 경사를 누적한다. 그렇게 모든 마이크로배치를 돈 다음 optimizer.step을 단 한 번 호출해 합산된 갱신을 적용한다. 손실을 나누는 이유는 경사가 단순 합이 아니라 큰 배치 평균과 일치하도록 크기를 맞추기 위해서다.

안정성을 위해 그래디언트 클리핑을 더할 수 있다. 마이크로배치 경사를 모두 쌓은 뒤 clip_grad_norm으로 전체 노름을 제한하면 갱신 크기가 폭주하지 않는다. 이 함수는 클리핑 전 노름을 돌려줘 경사가 얼마나 컸는지도 확인할 수 있다. 최대 노름을 키우면 더 큰 스텝이 허용돼 빨라질 수 있지만 불안정해질 위험이 있고, 줄이면 갱신이 조여져 안정적이지만 느려진다.

마지막으로 이 패턴을 다중 에폭 루프로 감싸면 실제로 쓸 수 있는 학습 루틴이 된다. 실전에서는 합성 데이터와 작은 선형 모델을 실제 데이터·모델로 바꾸기만 하면 되고, 누적 스텝 수와 마이크로배치 크기를 GPU 메모리에 맞춰 고르며, 손실 나누기를 유지하고 필요하면 클리핑을 더한다. 단 갱신 빈도가 줄어 동역학이 달라지므로 학습률과 누적 스텝을 함께 튜닝해야 한다.

주요 인사이트

• 그래디언트 누적은 '유효 배치 크기(effective batch size)'를 키우는 것이지, 한 번에 메모리에 올리는 양을 늘리는 것이 아니다.
• 손실을 누적 스텝 수로 나누는 단계를 빠뜨리면 경사가 합으로 부풀려져 진짜 큰 배치 평균과 달라진다.
• 루프 시작 전 zero_grad를 한 번만 호출해야 하며, 마이크로배치마다 호출하면 누적이 초기화돼 효과가 사라진다.
• 트레이드오프는 갱신 빈도가 줄어든다는 점이며, 학습이 느려지거나 동역학이 달라질 수 있어 학습률 재조정이 필요하다.
• 경사 폭주가 우려되면 clip_grad_norm으로 전체 노름을 제한해 갱신을 안전하게 묶을 수 있다.

자주 묻는 질문

관련 AI 소식