머신러닝 편향과 분산(Bias-Variance): 과적합과 과소적합을 가르는 핵심 개념

핵심 메시지

• 편향은 모델이 데이터의 실제 관계를 포착하지 못하는 정도를 뜻한다.
• 분산은 학습 데이터가 바뀔 때 모델의 적합 결과가 얼마나 크게 흔들리는지를 뜻한다.
• 학습 데이터에만 완벽히 맞고 새로운 데이터에서는 못 맞히는 상태가 과적합이다.
• 유연한 모델은 편향이 낮은 대신 분산이 높고, 단순한 모델은 그 반대다.
• 이상적인 모델은 편향과 분산을 모두 낮추는 최적점을 찾는 것이다.

쉽게 이해하기

영상은 쥐의 몸무게로 키를 예측하는 문제를 든다. 실제 관계는 어느 무게까지는 키가 커지다가 그 이후로는 평평해지는 곡선 형태다. 데이터를 학습용과 테스트용으로 나눈 뒤 두 가지 머신러닝 방법으로 이 관계를 근사한다.

첫 번째는 직선을 맞추는 선형 회귀다. 직선은 휘어질 수 없어 곡선 형태의 실제 관계를 결코 담아내지 못한다. 이렇게 모델이 진짜 관계를 포착하지 못하는 정도를 편향이라 부르며, 직선은 편향이 크다.

두 번째는 매우 유연한 구불구불한 선이다. 이 선은 학습 데이터의 점들을 곡선을 따라 거의 완벽히 통과해(잔차 제곱합이 0) 편향이 매우 작다. 하지만 테스트 데이터에서는 오히려 직선이 더 잘 맞는다.

학습셋과 테스트셋에서 적합도가 크게 달라지는 정도가 바로 분산이다. 구불구불한 선은 데이터셋마다 결과가 크게 달라져 분산이 높고, 이것이 과적합이다. 반면 직선은 데이터셋이 달라져도 일관된 결과를 내어 분산이 낮다.

이상적인 알고리즘은 편향과 분산이 모두 낮아, 실제 관계를 잘 담으면서도 데이터셋이 바뀌어도 일관된 예측을 한다. 이를 위해 너무 단순하지도 복잡하지도 않은 최적점을 찾으며, 정규화·부스팅·배깅이 그 대표적 방법이다(랜덤 포레스트가 배깅의 한 예다).

주요 인사이트

• 학습셋 성능만 보면 과적합을 놓치기 쉬워, 반드시 별도의 테스트셋으로 검증해야 한다.
• 편향과 분산은 보통 한쪽을 줄이면 다른 쪽이 커지는 트레이드오프 관계다.
• 모델 복잡도를 단순함과 복잡함 사이의 최적점(스위트 스폿)에 맞추는 것이 목표다.
• 정규화·부스팅·배깅이 그 균형을 찾는 대표적인 기법으로 소개된다.

자주 묻는 질문

관련 AI 소식