교차검증이란 무엇인가: 4-폴드·10-폴드·LOOCV로 머신러닝 모델을 공정하게 평가하는 법

핵심 메시지

• 교차검증은 여러 머신러닝 방법을 비교해, 실제 새 데이터에서 어느 것이 잘 작동할지를 가늠하게 해준다.
• 같은 데이터를 훈련과 평가에 동시에 쓰는 것은 나쁜 방법이다 — 훈련에 쓰지 않은 데이터에서의 성능을 알 수 없기 때문이다.
• 데이터를 여러 블록으로 나눠 한 블록씩 돌아가며 평가에 쓰고 나머지로 훈련한 뒤, 결과를 모아 종합한다.
• 4등분하면 4-폴드, 10등분하면 10-폴드 교차검증이며, 샘플 하나씩을 블록으로 삼으면 LOOCV가 된다.
• 교차검증은 모델 선택뿐 아니라 릿지 회귀처럼 튜닝 파라미터의 최적값을 찾는 데에도 쓸 수 있다.

쉽게 이해하기

어떤 데이터로 심장병 여부를 예측한다고 할 때, 먼저 로지스틱 회귀·최근접 이웃(KNN)·서포트 벡터 머신 등 여러 방법 가운데 무엇을 쓸지 정해야 한다. 교차검증은 바로 이 선택을 돕는 도구로, 각 방법이 실제로 얼마나 잘 작동할지를 비교할 수 있게 해준다.

데이터로는 두 가지를 해야 한다. 하나는 파라미터를 추정하는 일(훈련), 다른 하나는 그 모델이 새 데이터를 잘 분류하는지 확인하는 일(평가)이다. 모든 데이터를 훈련에만 쓰면 평가할 데이터가 남지 않고, 훈련에 쓴 데이터로 평가하면 보지 못한 데이터에 대한 성능을 알 수 없으므로 둘 다 곤란하다.

조금 나은 방법은 앞 75%를 훈련, 뒤 25%를 평가에 쓰는 것이다. 하지만 하필 그 구간이 평가용으로 가장 적절하다는 보장은 없다. 앞 25%나 가운데 블록을 평가에 썼다면 결과가 달랐을 수도 있다.

교차검증은 어느 블록이 최선일지 고민하는 대신, 모든 블록을 한 번씩 돌아가며 평가에 사용한다. 예를 들어 데이터를 네 블록으로 나누면, 세 블록으로 훈련하고 남은 한 블록으로 평가하기를 블록을 바꿔가며 반복한 뒤 성능을 종합한다. 그렇게 각 방법의 평균적인 성능을 비교해 가장 좋은 것을 고른다.

블록 수는 정하기 나름이다. 실무에서는 데이터를 10블록으로 나누는 10-폴드 교차검증이 흔하고, 극단적으로 샘플 하나하나를 블록으로 삼는 방식은 LOOCV라고 부른다. 또한 추정되지 않고 사람이 정해야 하는 튜닝 파라미터가 있는 경우, 교차검증으로 그 최적값을 찾을 수도 있다.

주요 인사이트

• 훈련에 쓴 데이터로 성능을 재면 결과가 부풀려진다. 모델의 진짜 실력, 즉 일반화 능력은 한 번도 보지 못한 데이터로만 측정할 수 있다.
• 데이터를 어디서 나눌지 고민하는 대신 모든 분할을 돌려 평균내자는 발상이 교차검증의 핵심이다.
• 블록 수가 많을수록 더 많이 훈련·평가하지만, 실무에서는 10-폴드가 무난한 기본값으로 자리 잡았다.
• 교차검증은 모델을 고르는 데뿐 아니라 하이퍼파라미터를 조정하는 데에도 그대로 활용된다.

자주 묻는 질문

관련 AI 소식