후버 손실(Huber Loss)이란? 이상치에 강한 강건 회귀 원리와 sklearn 활용

핵심 메시지

• 선형회귀의 MSE는 오차를 제곱하므로 이상치 하나가 회귀선 전체를 끌어당긴다.
• 후버 손실은 임계값(σ)을 경계로 작은 오차엔 제곱 손실, 큰 오차엔 선형 손실을 적용한다.
• 임계값을 넘는 구간에서 손실이 선형으로 증가해 이상치의 과도한 영향이 사라진다.
• 임계값 σ는 사용자가 직접 조정하는 하이퍼파라미터다.
• sklearn의 HuberRegressor로 강건 회귀를 곧바로 구현할 수 있다.

쉽게 이해하기

강건 회귀(robust regression)는 선형회귀를 대체할 수 있는 강력한 회귀 기법이다. 영상은 선형회귀를 쓰려는 상황이라면 후버 손실을 적용한 강건 회귀를 대신 고려하라고 권한다. 핵심은 손실 함수를 바꿔 이상치에 휘둘리지 않는 회귀선을 얻는 데 있다.

선형회귀는 오차를 제곱하는 평균제곱오차(MSE)를 최소화한다. 문제는 단 하나의 이상치다. 거리 10단위짜리 이상치 하나가 생기면 제곱 때문에 오차가 100이 되어, 이를 상쇄하려면 1단위 오차의 정상 데이터가 100개나 필요하다. 이상치 거리가 20단위면 400개, 그런 이상치가 둘이면 800개가 필요해진다. 결국 회귀선이 이상치 쪽으로 기울어 버린다.

후버 손실은 임계값 σ를 기준으로 두 부분으로 정의된다. 오차가 σ보다 작으면 평소처럼 제곱 손실(½·e²)을 쓰고, σ보다 크면 σ·(|e|−½σ) 형태의 선형 손실로 전환한다. 즉 작은 오차 구간은 MSE처럼 동작하고, 큰 오차 구간은 선형으로 완만하게 증가한다.

오차를 x축, 손실을 y축에 두고 보면 MSE는 오차가 커질수록 제곱으로 급격히 치솟지만, 후버 손실은 임계값(컷오프)까지는 MSE와 같다가 그 이후에는 직선처럼 증가한다. 덕분에 이상치의 큰 오차가 손실을 폭발적으로 키우지 못한다. 임계값 σ는 사용자가 예측 성능이 가장 좋은 값으로 정할 수 있는 하이퍼파라미터다.

scikit-learn에서는 HuberRegressor로 바로 구현할 수 있다. 임계값에 해당하는 epsilon 기본값은 1.35이며, alpha 값을 주면 정규화까지 결합한 강건 회귀가 된다. 영상에서는 노이즈와 이상치를 섞은 데이터로 후버 회귀와 선형회귀의 계수를 참값과 비교하는데, 후버 회귀의 계수가 참값에 훨씬 더 가깝게 나온다.

주요 인사이트

• MSE가 오차를 제곱하기 때문에 이상치 하나의 손실이 정상 데이터 수십~수백 개와 맞먹어 회귀선을 왜곡한다.
• 후버 손실은 임계값을 경계로 제곱에서 선형으로 매끄럽게 전환해 이상치의 영향력을 제한한다.
• 임계값 σ를 조절해 이상치 민감도를 직접 통제할 수 있다.
• sklearn HuberRegressor의 epsilon 기본값은 1.35이고 alpha로 정규화를 더할 수 있다.
• 동일 데이터에서 후버 회귀의 추정 계수가 선형회귀보다 참값에 더 가깝다.

자주 묻는 질문

관련 AI 소식