편향-분산 트레이드오프와 이중 하강, 정규화까지: 스탠퍼드 CS229 머신러닝 6강 정리

핵심 메시지

• 테스트 오차는 데이터 자체의 잡음, 모델이 구조적으로 못 맞히는 편향, 학습셋이 바뀔 때마다 흔들리는 분산 세 가지로 깔끔하게 쪼개진다.
• 정규화는 편향을 조금 늘리는 대신 분산을 크게 줄이는 거래이며, 릿지 회귀는 그 거래가 수식에서 어떻게 성립하는지 가장 선명하게 보여준다.
• 파라미터가 데이터보다 훨씬 많은 구간을 지나면 테스트 오차가 다시 내려가는 '이중 하강'이 관측되면서, 복잡도가 커지면 반드시 나빠진다는 고전 그림이 깨졌다.
• 이미지넷을 10년 뒤 처음부터 다시 구축해 평가했더니 모든 모델의 정확도가 비슷한 폭으로 떨어졌을 뿐 순위는 그대로였고, 벤치마크 반복 사용에 대한 우려가 생각만큼 크지 않았음을 보여줬다.
• 하이퍼파라미터 탐색은 후보를 짧게 모두 돌린 뒤 성적이 나쁜 절반을 계속 떨어뜨리는 방식으로 연산을 아낄 수 있다.

쉽게 이해하기

강의는 머신러닝의 핵심 질문을 하나로 압축하면서 시작한다. 유한하고 잡음 섞인 표본만 주어졌을 때 새로운 데이터에서도 통하는 모델을 어떻게 고를 것인가다. 강사는 이 질문에 답하기 위해 학습 데이터 한 벌이 고정돼 있다는 기존 관점을 버리고, 학습셋 자체가 매번 다시 뽑히는 표본이라고 보는 시각으로 옮겨간다.

직관은 그림 세 장으로 정리된다. 실제 관계가 이차 곡선인데 직선만 맞추면 어떤 표본을 줘도 일정한 오차가 남는다. 반대로 점 개수보다 차수가 높은 다항식을 맞추면 학습 데이터는 완벽히 통과하지만 표본이 바뀔 때마다 전혀 다른 곡선이 나와 예측이 불안정해진다. 앞은 편향이 큰 과소적합, 뒤는 분산이 큰 과적합이다.

이 그림을 수식으로 옮긴 것이 편향·분산 분해다. 테스트 시점의 제곱 오차를 학습셋 추출과 테스트 잡음 두 가지 무작위성에 대해 평균 내면, 아무리 잘해도 줄일 수 없는 잡음항, 평균적인 예측이 참값에서 얼마나 벗어나는지를 나타내는 편향 제곱항, 학습셋마다 예측이 얼마나 출렁이는지를 나타내는 분산항으로 갈라진다. 강사는 이 분해가 회귀에서 유도되지만 분류를 비롯한 다른 모델에도 같은 방식으로 쓰인다고 덧붙인다.

분산을 줄이는 도구로 릿지 회귀가 등장한다. 최소제곱 목적함수에 계수 크기에 대한 벌점을 더하면, 표본 수가 차원보다 적어 해가 무수히 많은 상황에서도 예측에 기여하지 않는 방향의 성분이 0으로 눌린다. 고윳값이 아주 작아 수치적으로 불안정하던 방향도 상수만큼 들어 올려져 안정해진다. 강사는 드롭아웃이나 가중치 감쇠, 데이터 증강 같은 현대적 기법도 결국 같은 틀에서 해석된다고 설명한다.

후반부는 이 고전 그림이 어디서 어긋났는지를 다룬다. 학습 데이터보다 파라미터가 훨씬 많아 학습셋을 완전히 외워버리는 모델이 오히려 더 잘 일반화하는 현상이 반복해서 관측됐고, 모델 용량을 계속 키우면 테스트 오차가 한 번 치솟았다가 다시 내려가는 이중 하강이 보고됐다. 강사는 지난 10년의 진전 상당수가 통계학이 가지 말라고 경고한 영역으로 넘어간 결과라고 정리한다.

마지막으로 모델 선택 방법을 짚는다. 테스트셋을 들여다볼수록 성능이 부풀려지므로 하이퍼파라미터는 별도의 개발셋에서 고르고, 데이터가 아까우면 교차검증으로 나눠 쓴다. 연산이 아까울 때는 후보 설정을 모두 짧게 학습해 점수가 나쁜 절반을 떨어뜨리고 살아남은 후보에 두 배씩 자원을 몰아주는 방식이 유용하다고 소개한다.

주요 인사이트

• 학습 오차는 주로 편향을 반영하고 테스트 오차에는 편향과 분산에 더해 데이터 자체의 잡음까지 섞여 들어간다. 두 수치의 격차를 해석할 때 이 구분이 중요하다.
• 정규화 강도는 이론으로 딱 떨어지게 정해지지 않는다. 강사는 실무에서는 여러 값을 돌려보고 개발셋 성능으로 고르는 방식이 어떤 수학적 규칙보다 신뢰받는다고 말한다.
• 정밀도가 낮은 수치 형식으로 학습이 옮겨가면서, 정규화 상수에는 통계적 이유뿐 아니라 수치적 불안정을 막으려는 목적도 함께 담기게 됐다.
• 이중 하강이 시사하는 바는 모델을 키우면 무조건 좋아진다는 게 아니라, 최적화 과정 자체가 무수한 해 가운데 매끄러운 해를 골라내는 암묵적 정규화 역할을 한다는 점이다.
• 벤치마크를 오래 반복해 써도 모델 간 순위가 유지됐다는 결과는 데이터를 마음대로 다뤄도 된다는 뜻이 아니라, 우리가 생각한 것보다 견고한 무언가가 작동하고 있음을 보여준다.

자주 묻는 질문

관련 AI 소식