파이썬 데이터 정제와 자동화 파이프라인 가이드: 결측치·이상치 처리부터 데이터 누수 방지까지

핵심 메시지

• 전문 데이터 과학자는 업무 시간의 약 70~80%를 데이터 정제와 랭글링에 쓰며, 이 단계를 건너뛴 모델은 실패하거나 오해를 부르는 결과를 내놓는다.
• 결측치는 무작정 버리지 말고 완전 무작위 결측(MCAR)·무작위 결측(MAR)·비무작위 결측(MNAR) 중 무엇인지 먼저 진단한 뒤 삭제와 대치 중 하나를 고른다.
• 중복 제거는 모든 열이 같은 완전 중복과 일부 열만 겹치는 부분 중복을 구분해야 하고, keep 옵션에 따라 남는 행이 달라진다.
• 실무에서는 매번 손으로 정제하지 않고 수치형·범주형 전처리를 파이프라인으로 묶어 새로 들어오는 데이터에도 같은 규칙이 적용되게 만든다.
• 전체 데이터에 스케일러를 학습시키면 데이터 누수가 생기므로, 파이프라인 안에서 학습 데이터에만 적합시켜 검증 데이터를 끝까지 숨겨야 한다.

쉽게 이해하기

영상은 머신러닝 모델을 학습시키거나 대시보드를 만들기 전에 반드시 거쳐야 하는 데이터 정제와 랭글링 과정을 여덟 단계로 나눠 설명한다. 발표자는 현업 데이터 과학자가 전체 업무 시간의 70~80%가량을 이 작업에 쓴다고 말한다. 원본 데이터에는 결측값, 들쭉날쭉한 표기, 중복 행, 이상치, 잘못된 자료형이 늘 섞여 있기 때문이다. 이 단계를 건너뛰면 결국 '쓰레기를 넣으면 쓰레기가 나온다'는 말대로 모델이 실패하거나 잘못된 결론을 준다는 것이 출발점이다.

첫 단계는 진단에 해당하는 탐색이다. 데이터프레임의 구조와 요약 통계를 확인하고, 열별 결측 현황과 중복 행 수를 세어 본다. 중복은 모든 열이 동일한 경우와 아이디나 이메일 같은 일부 열만 겹치는 경우를 나눠서 확인해야 하며, 중복 판정에서 첫 행을 남길지 마지막 행을 남길지 아니면 모두 지울지를 옵션으로 정할 수 있다. 성별 열에 'female'과 'F'가 섞여 있는 것처럼 같은 뜻인데 표기가 다른 값도 이때 하나의 형식으로 통일한다.

결측값 처리에서 발표자가 강조하는 것은 기법보다 진단이다. 결측이 완전히 무작위로 생겼다면 비교적 자유롭게 대치할 수 있지만, 다른 변수나 값 자체에 의존해 생긴 결측이라면 그 의존성을 반영하는 방법을 써야 한다. 결측 비율이 작으면 해당 행을 지우는 선택이 가능하지만 비율이 크면 삭제가 데이터의 의미 자체를 왜곡한다. 대치 기법으로는 평균·중앙값·최빈값 같은 단순한 방법부터 다중 대치, K-최근접 이웃, 기댓값 최대화, 랜덤 포레스트, 행렬 분해, 오토인코더와 생성 모델 기반 대치, 시계열용 보간과 계절 분해까지 폭넓게 소개된다.

이후 단계는 자료형 교정, 이상치 처리, 피처 엔지니어링, 스케일링으로 이어진다. 날짜 열은 날짜형으로 되돌리고, 숫자여야 할 소득 열에 문자가 섞여 문자열로 바뀌었다면 값을 고친 뒤 자료형까지 다시 강제로 변환해야 한다. 이상치는 사분위 범위의 1.5배를 기준으로 상·하한을 잡아 걸러내고 밀도 그래프로 전후를 비교한다. 범주형은 원핫 인코딩으로 바꾸고, 거리 기반 알고리즘을 쓸 때는 단위가 서로 다른 변수를 표준화해 비교 가능하게 만든다.

마지막 단계는 자동화다. 운영 환경에서는 모델이 매일 또는 실시간으로 다시 학습되기 때문에 수작업 정제는 사람 실수와 불일치를 부른다. 수치형에는 중앙값 대치와 스케일링을, 범주형에는 대치와 원핫 인코딩을 각각 묶은 뒤 열 변환기로 합치고 그 뒤에 모델을 붙여 하나의 파이프라인으로 만든다. 이때 범주형 인코더에서 처음 보는 값을 무시하도록 설정해 두어야 운영 중 오류를 막을 수 있고, 이상치 캡핑처럼 사전 정의된 변환기로 부족한 부분은 사용자 정의 변환기로 채운다.

주요 인사이트

• 정제 순서를 '탐색 → 결측 → 중복 → 자료형 → 이상치 → 파생 변수 → 스케일링 → 검증'으로 고정해 두면 매번 다른 데이터를 받아도 빠뜨리는 단계가 줄어든다.
• 중복 판정 기준을 전체 열로 둘지 특정 열 조합으로 둘지는 데이터의 의미에 달려 있다. 아이디가 같지만 나머지가 다른 행은 완전 중복이 아니라 별도의 판단이 필요한 부분 중복이다.
• 대치 기법의 목록을 아는 것보다 결측이 왜 생겼는지 파악하는 일이 먼저다. 메커니즘을 잘못 보면 아무리 정교한 기법을 써도 편향된 값을 채우게 된다.
• 이상치 기준의 1.5배는 절대적인 값이 아니라 관행이며, 데이터 특성에 따라 2배 같은 다른 배수를 쓸 수도 있다는 점을 발표자는 분명히 한다.
• 데이터 누수를 막는 가장 실질적인 장치는 규율이 아니라 구조다. 전처리를 파이프라인 안으로 넣으면 검증 데이터가 전처리 학습에 섞이는 실수를 구조적으로 차단할 수 있다.

자주 묻는 질문

관련 AI 소식