그래디언트 부스팅 원리 정리: 약한 학습기·손실 함수·경사하강으로 보는 작동 방식

핵심 메시지

• 그래디언트 부스팅은 회귀·분류·랭킹 등 다양한 문제에 쓰이는 유연한 모델군으로, 현업에서 곧바로 활용되는 강력한 도구다.
• '부스팅'이란 최종 모델을 여러 개의 약한 학습기(weak learner)의 합으로 만들되, 다음 학습기가 앞선 학습기들의 실수로부터 배우도록 하는 방식이다.
• 핵심 단계는 각 데이터에 대해 손실 함수를 현재 예측으로 미분한 기울기를 구하고, 다음 약한 학습기가 그 기울기를 예측하도록 학습시키는 것이다.
• 여기에 '얼마나 더할지'를 정하는 라인 서치(gamma)를 곱해 모델에 더하는 과정을 반복하는데, 이는 본질적으로 손실을 줄이는 방향으로 한 걸음씩 나아가는 경사하강과 같다.
• 약한 학습기로는 결정 트리가 흔히 쓰이며(그래디언트 부스티드 결정 트리), 장점이 크지만 해석이 어렵고 계산량이 많으며 과적합에 주의해야 한다.

쉽게 이해하기

ritvikmath 채널은 그래디언트 부스팅을 '데이터 과학의 만능 무기'라 부르며 그 작동 원리를 차근차근 설명한다. 선형 회귀나 로지스틱 회귀가 기초로서 중요하지만 단독으로 현업에 쓰이는 경우는 드문 반면, 그래디언트 부스팅은 곧바로 산업 현장에 투입되는 모델군이라는 점을 강조한다. 게다가 회귀뿐 아니라 분류, 랭킹 같은 문제까지 두루 푸는 범용 틀이다.

이름의 앞부분인 '부스팅'부터 짚는다. 부스팅은 최종 예측 함수를 여러 약한 학습기의 합으로 표현하는 발상이다. 약한 학습기란 일부러 성능을 낮춘 단순한 모델로, 데이터의 모든 패턴을 한 번에 잡으려 하지 않는다. 핵심은 다음 학습기가 앞선 학습기들이 저지른 실수로부터 배우도록 이어 붙인다는 점이다. 각각은 약해도 합치면 매우 강력해진다.

구체적 절차는 이렇다. 0단계로 미분 가능한 손실 함수를 정한다(이름이 '그래디언트' 부스팅인 이유다). 1단계로 아주 약한 첫 모델을 둔다(예: 모든 값의 평균). 2단계가 핵심으로, 각 데이터 점마다 손실 함수를 현재 예측으로 미분한 기울기를 계산한다. 이 기울기는 손실을 줄이려면 예측을 어느 방향으로 옮겨야 하는지를 알려준다.

3단계에서는 새 약한 학습기를 학습시키되, 목표값을 바로 그 기울기들로 두고 원래의 특성(feature)들을 입력으로 쓴다. 그런 다음 이 학습기를 기존 모델에 '얼마나' 더할지를 라인 서치로 찾아 gamma를 정하고 더한다. 이 과정을 원하는 횟수만큼 반복하면 모델이 점점 강해진다. 발표자는 이것이 결국 이전 모델에서 손실이 줄어드는 방향으로 조금씩 이동하는 경사하강과 같다고 정리한다.

마지막으로 장단점을 균형 있게 다룬다. 풀 수 있는 문제, 손실 함수, 약한 학습기 종류까지 선택의 폭이 넓다는 것이 강점이다. 특히 약한 학습기로 결정 트리를 쓴 '그래디언트 부스티드 결정 트리'는 여러 데이터셋에서 매우 좋은 성능을 보여 업계와 학계에서 널리 쓰인다. 다만 모델 해석이 어렵고(부분 의존도 그래프나 섀플리 값으로 보완), 계산량이 많으며, 트리 깊이와 학습기 수를 제한해 과적합을 막아야 한다는 점을 함께 짚는다.

주요 인사이트

• 그래디언트 부스팅의 위력은 '약한 모델을 순차적으로 더한다'는 단순한 발상에서 나오며, 각 단계가 앞 단계의 오차를 겨냥한다는 점이 핵심이다.
• 잔차 대신 손실 함수의 기울기를 학습 목표로 삼기 때문에, 미분 가능한 손실만 있으면 다양한 문제 유형에 같은 틀을 적용할 수 있다.
• 모델 갱신이 본질적으로 경사하강이라는 관점은, 왜 이 방법이 손실을 안정적으로 낮추는지를 직관적으로 설명해 준다.
• 성능이 뛰어난 만큼 해석성과 계산 비용을 내주는 거래가 있으며, 과적합 방지를 위한 규제가 실무에서 필수적이다.

자주 묻는 질문

관련 AI 소식