머신러닝 초보 실수 총정리: 데이터 누수와 테스트셋 오염, 지표 선택과 검증 전략

핵심 메시지

• 전처리를 데이터 분할 전에 하면 테스트 정보가 학습에 새어 들어가는 데이터 누수가 생기므로, 먼저 나눈 뒤 각각 따로 전처리해야 한다.
• 한 클래스가 99%를 차지하는 데이터에서는 정확도 99%도 의미가 없으며, 정밀도·재현율·F1 같은 지표를 봐야 한다.
• 테스트 데이터로 하이퍼파라미터를 조정하는 테스트셋 오염은 누수보다 심각해서, 평가를 되살리려면 테스트셋 자체를 새로 만들어야 한다.
• 복잡한 모델부터 시작하지 말고 평균값이나 다수 클래스 같은 베이스라인을 먼저 세워야 모델이 실제로 가치를 더하는지 판단할 수 있다.
• 도메인 지식이 없으면 통계적으로는 맞지만 현실에서는 말이 되지 않는 패턴을 학습하게 된다.

쉽게 이해하기

10년간 데이터 과학자로 일하며 수백 명을 가르쳤다는 발표자는 입문자가 저지르는 실수를 데이터 준비, 학습, 평가 등 다섯 영역으로 나눠 정리한다. 출발점은 데이터 정리다. 결측값과 이상치, 중복 항목, 표기와 날짜 형식이 뒤섞인 텍스트 필드는 조용히 모델을 망가뜨리며, 정리를 건너뛰면 나중에 원인 모를 동작을 디버깅하는 데 두 배의 시간이 든다.

스케일 문제도 자주 놓친다. 집값 예측에서 면적과 방 개수처럼 단위가 다른 특성이 섞여 있으면 경사하강법이 적절한 보폭을 찾기 어려워지는데, 발표자는 이를 현미경과 망원경의 초점을 동시에 맞추려는 상황에 비유한다. 평균 0, 분산 1로 표준화하거나 0과 1 사이로 조정하는 것만으로 모델이 진짜 패턴에 집중할 수 있게 된다.

가장 위험한 실수는 데이터 누수와 테스트셋 오염이다. 전체 데이터로 정규화 통계를 계산한 뒤 나누면 테스트 정보가 학습에 스며들어 실제로는 재현되지 않는 낙관적 성능이 나온다. 테스트 데이터로 직접 튜닝하거나 특성을 고르는 오염은 더 심각한데, 그 시점에서 기존 테스트셋은 무효가 되기 때문이다. 발표자는 테스트셋을 단 한 번만 치를 수 있는 기말고사처럼 다루라고 말한다.

지표와 손실 함수는 문제의 목적에 맞춰야 한다. 암 진단처럼 놓친 환자가 더 큰 문제인 상황에서는 위음성을 줄이는 쪽이 중요하고, 랭킹 문제에는 MAP나 NDCG, 회귀에는 RMSE나 MAE가 적합하다. 분류에 평균제곱오차를 쓰거나 회귀에 이진 교차 엔트로피를 쓰는 것처럼 손실 함수가 문제 유형과 어긋나면 학습 자체가 방향을 잃는다.

이 밖에도 순서가 없는 범주에 레이블 인코딩을 써서 초록이 파랑보다 크다는 잘못된 관계를 만드는 실수, 정렬된 데이터를 섞지 않아 배치마다 비슷한 예제만 들어가는 문제, 알고리즘의 가정을 무시하는 사례가 이어진다. 선형 회귀는 선형 관계를, 나이브 베이즈는 특성 독립을, K-평균은 원형 군집을 가정하며, 시계열에는 일반 교차 검증 대신 시간 순서를 지키는 분할이 필요하다.

주요 인사이트

• 데이터 누수와 테스트셋 오염은 구분해야 한다. 누수는 스케일링 통계처럼 간접적으로 스며드는 것이고, 오염은 테스트 데이터를 직접 쓰는 것이라 테스트셋을 새로 확보해야 해 복구 비용이 훨씬 크다.
• 결측값 자체가 신호일 수 있다. 소득 항목이 비어 있는 것이 실업을 뜻할 수 있으므로, 평균으로 채우기 전에 '값이 없음'을 별도 특성으로 남기는 편이 예측에 도움이 되기도 한다.
• 그리드 서치도 지나치면 검증셋에 과적합된다. 넓은 간격으로 훑은 뒤 유망한 구간만 좁혀 들어가거나 랜덤 서치를 쓰는 편이 효율적이다.
• 전체 지표가 좋아도 특정 조건에서 무너질 수 있다. 정확도 99%의 제조 결함 검출 시스템이 공장 온도가 30도를 넘는 폭염 기간에는 62%로 떨어졌고, 하필 그 시기가 성수기와 겹쳤다는 사례가 대표적이다.
• 유명 캐글 대회 다수가 딥러닝이 아니라 잘 튜닝된 그래디언트 부스팅으로 우승했다는 점은, 모델 복잡도보다 특성 공학과 문제 이해가 더 중요하다는 것을 보여준다.

자주 묻는 질문

관련 AI 소식