조기 종료(Early Stopping)란? 검증 손실로 과적합을 자동으로 막는 4가지 구성 요소

핵심 메시지

• 조기 종료는 가장 쉽고 효과적인 정규화 기법 중 하나로, 과적합을 막아 모델의 일반화 성능을 높인다.
• 학습을 너무 오래 하면 과적합, 너무 적게 하면 과소적합이 되므로 적절한 에폭 수를 찾는 것이 관건이다.
• 검증 손실이 감소하다가 다시 증가하는 변곡점이 학습을 멈춰야 할 지점이다.
• 조기 종료는 검증 세트, 성능 지표, 최적 가중치 저장, 정지 트리거의 네 가지 구성 요소로 이뤄진다.

쉽게 이해하기

모델을 너무 오래 학습시키면 과적합, 너무 짧게 하면 과소적합이 된다. 과소적합 모델은 데이터의 패턴을 놓치고, 과적합 모델은 데이터의 잡음까지 학습한다. 좋은 모델은 그 사이에서 학습 데이터 밖의 데이터에도 잘 일반화한다. 이때 모델의 적합도를 좌우하는 핵심 요인이 학습 길이, 즉 에폭(반복) 수다.

발표자는 장벽 사이에 정확히 멈춰야 하는 경찰차에 비유한다. 경찰차는 빨간 장벽을 보고 언제 브레이크를 밟을지 알지만, 모델 학습은 멈출 시점을 스스로 알 수 없다. 그래서 학습 중간중간 모델을 평가할 방법이 필요하다.

이를 위해 두 가지가 필요하다. 첫째는 모델을 평가할 별도의 홀드아웃 데이터인 검증 세트, 둘째는 성능을 측정할 지표다. 매 에폭마다 검증 세트로 평가하고 지표를 그래프로 그리면, 검증 손실이 감소하다가 어느 순간 다시 증가하는 구간이 보인다. 바로 그곳이 브레이크를 밟아야 할 지점이다.

그러나 그래프를 직접 그려 보고 판단하는 방식은 수작업이 많다. 변곡점을 찾으려 필요 이상으로 오래 학습해야 하고, 멈춘 뒤에는 처음부터 다시 학습해야 하며, 모델을 조금만 바꿔도 이 과정을 처음부터 반복해야 한다. 그래서 이를 자동화한다.

자동화의 핵심은 두 가지다. 검증 손실의 방향이 몇 에폭 연속으로 바뀌면 학습을 멈추되, 잡음으로 인한 진동을 견디기 위해 일정 횟수를 기다리는 '인내(patience)'를 둔다. 또한 학습 중 검증 손실이 더 나아질 때마다 가중치 사본을 저장해 두어, 멈추는 순간 과적합 직전의 최적 가중치를 그대로 확보한다. 이 전체 과정이 조기 종료다.

주요 인사이트

• 모델 학습은 과소적합과 과적합 사이에서 균형을 잡는 게임이며, 학습 길이(에폭 수)가 그 균형을 결정한다.
• 검증 손실이 감소를 멈추고 다시 증가하는 변곡점이 학습을 멈출 최적 시점이다.
• '인내(patience)'를 두는 이유는 잡음으로 인한 검증 손실의 일시적 진동을 진짜 과적합 신호와 구분하기 위해서다.
• 최적 가중치 사본을 따로 저장해 두면, 정지 판단이 늦더라도 과적합 직전 시점의 모델을 되찾을 수 있다.
• 조기 종료는 대부분의 주요 라이브러리가 지원하므로 설정만 하면 자동으로 적용되는 손쉬운 정규화 기법이다.

자주 묻는 질문

관련 AI 소식