XGBoost 입문 정리: 그래디언트 부스팅 원리와 주요 파라미터, 장단점과 활용 분야

핵심 메시지

• XGBoost는 익스트림 그래디언트 부스팅의 줄임말로, 그래디언트 부스팅 알고리즘을 기반으로 한 파이썬 머신러닝 라이브러리다.
• 여러 개의 결정 트리를 순차적으로 만들면서, 새로 만든 트리가 앞선 트리가 낸 오차를 보정하는 방식으로 정확도를 높인다.
• 높은 정확도와 빠른 학습, 병렬 처리, 정규화, 결측값 자동 처리 덕분에 캐글 대회에서 가장 인기 있는 알고리즘 중 하나로 꼽힌다.
• 정형 데이터와 표 형태 데이터에는 강하지만, 이미지나 텍스트 데이터에는 딥러닝에 비해 적합하지 않다.
• 지도학습 계열이라 분류와 회귀 문제 모두에 쓸 수 있다.

쉽게 이해하기

XGBoost는 'Extreme Gradient Boosting'의 줄임말로, 그래디언트 부스팅 알고리즘을 바탕으로 만들어진 파이썬 머신러닝 라이브러리다. 핵심 아이디어는 하나의 강력한 모델을 만드는 대신, 여러 개의 결정 트리를 차례로 쌓아 올리는 것이다. 새로 추가되는 트리는 앞선 트리가 틀린 부분을 바로잡는 역할을 맡고, 이 과정을 반복하면서 전체 예측의 정확도가 올라간다.

이 라이브러리가 널리 쓰이는 이유는 성능과 편의가 함께 따라오기 때문이다. 정확도가 높고 학습이 빠르며, 병렬 처리를 지원하고 정규화가 들어 있어 과적합을 억제한다. 결측값도 별도 처리 없이 자동으로 다룰 수 있다. 이런 특성 덕분에 캐글 경진대회에서 가장 자주 등장하는 알고리즘 중 하나가 됐다.

사용법 자체는 단순하다. pip install xgboost 로 설치한 뒤 import xgboost as xgb 형태로 불러오면 되는데, 여기서 xgb는 매번 긴 이름을 쓰지 않기 위해 붙이는 별칭이다. 주요 파라미터로는 트리 개수를 정하는 n_estimators, 학습 속도를 조절하는 learning_rate, 트리의 깊이를 제한하는 max_depth, 트리 하나가 사용할 학습 데이터 비율인 subsample, 열을 얼마나 쓸지 정하는 colsample_bytree, 결과를 재현하기 위한 random_state가 소개된다.

장점만 있는 것은 아니다. 결정 트리 하나를 학습시킬 때보다 시간이 더 걸리고, 조정해야 할 하이퍼파라미터가 많다. 단순한 모델보다 해석하기 어렵다는 점도 함께 지적된다. 무엇보다 이미지나 텍스트처럼 비정형 데이터를 다룰 때는 딥러닝 쪽이 더 적합해, 정형 데이터와 표 형태 데이터에 쓰는 도구로 이해하는 편이 정확하다.

실제 활용 분야로는 집값 예측, 대출 승인 예측, 사기 탐지, 고객 이탈 예측, 질병 예측, 직원 이탈 예측 같은 사례가 제시된다. 영상은 마지막에 면접에서 자주 나오는 질문들을 짚는데, 지도학습인지 비지도학습인지, 분류와 회귀를 모두 다룰 수 있는지, 결측값을 자동으로 처리하는지 같은 기본 확인 사항이 대부분이다.

주요 인사이트

• 부스팅의 핵심은 개별 트리를 강하게 만드는 것이 아니라, 앞선 모델의 실수를 다음 모델이 이어받아 고치는 구조에 있다. 성능은 트리 하나의 성능이 아니라 이 연쇄에서 나온다.
• 결측값을 알아서 처리한다는 점은 실무에서 특히 크다. 데이터 정제에 드는 시간을 줄여 주기 때문에, 전처리 부담이 큰 표 형태 데이터에서 선호되는 이유가 된다.
• 조정할 파라미터가 많다는 것은 성능을 끌어올릴 여지가 많다는 뜻인 동시에, 초심자에게는 어디서부터 손대야 할지 막막해지는 지점이기도 하다.
• 해석 가능성이 떨어진다는 단점은 특성 중요도 기능으로 어느 정도 보완된다. 어떤 변수가 예측에 크게 기여했는지는 확인할 수 있다.
• 딥러닝이 주목받는 시기에도 XGBoost가 계속 쓰이는 이유는, 현실의 많은 문제가 여전히 표 형태의 정형 데이터로 주어지기 때문이다.

자주 묻는 질문

관련 AI 소식