파이썬 데이터 정제 실전 가이드: 결측치·중복·이상치 처리와 범주형 인코딩 순서 정리

핵심 메시지

• 데이터 과학자가 시간의 대부분을 정제와 가공에 쓴다는 점에서, 이 단계가 결과 품질을 사실상 결정한다.
• 중복은 전체 열 기준과 특정 열 조합 기준의 결과가 전혀 다르므로 무엇을 같은 레코드로 볼지 먼저 정해야 한다.
• 결측치는 행을 지운 결과와 값을 채운 결과를 각각 다른 데이터셋으로 남겨 두고 비교하는 방식이 권장됐다.
• 범주값 표기가 통일되지 않으면 같은 항목이 여러 범주로 갈라지므로 조건부 치환으로 표기를 맞춰야 한다.
• 이상치는 사분위수 범위를 기준으로 걸러내되, 그 값이 오류인지 실제 특성인지 판단이 먼저다.

쉽게 이해하기

강의는 머신러닝과 대시보드, 분석 결과 이전에 반드시 거쳐야 하는 단계로 데이터 정제와 가공을 꼽으며 시작한다. 강사는 데이터 과학자가 업무 시간의 70~80% 가까이를 이 작업에 쓴다고 소개하고, '쓰레기를 넣으면 쓰레기가 나온다'는 오래된 격언을 들어 이 단계를 건너뛰면 모델이 실패하거나 더 나쁘게는 잘못된 결론을 내놓는다고 강조한다.

제시된 작업 순서는 명확하다. 문제를 이해하고, 데이터를 탐색하고, 결측치를 처리하고, 중복을 제거하고, 데이터 타입을 바로잡고, 이상치를 다루고, 파생 변수를 만들고, 수치형과 범주형을 각각 스케일링·인코딩한 뒤, 검증과 자동화 파이프라인으로 마무리한다. 그리고 모든 변환 단계와 버전을 문서로 남겨 두라는 당부가 붙는다.

탐색 단계에서 먼저 걸린 문제는 데이터 타입이었다. 가입 날짜 열이 문자열로 들어와 있어 요약 통계에서 빠져 있었고, 날짜 타입으로 변환하자 비로소 수치 요약에 포함됐다. 강사는 변수가 많을 때 요약표를 전치해서 보면 옆으로 스크롤하지 않아도 되어 읽기 편하다는 실무 팁도 함께 소개했다. 숫자 열에 문자가 하나만 섞여도 열 전체가 문자열로 바뀐다는 점 역시 실제 값을 바꿔 가며 보여 줬다.

중복 처리에서는 기준을 정하는 일이 핵심으로 다뤄졌다. 모든 열이 같아야 중복으로 보는 경우와 특정 열 조합만 같으면 중복으로 보는 경우의 결과 개수가 달라지고, 첫 번째 등장을 포함하느냐 제외하느냐에 따라서도 숫자가 달라진다. 강사는 열 조합을 하나씩 늘려 가며 중복 건수가 줄어드는 과정을 직접 실행해 보여 줬다. 결측치는 해당 행을 모두 지운 데이터셋과 값을 채워 넣은 데이터셋을 따로 만들어 두고, 나중에 모델을 학습시킬 때 어느 쪽을 쓸지 고르는 방식을 택했다.

범주형 정리와 이상치 처리가 이어졌다. 성별이 'F'와 'female'처럼 뒤섞여 두 개여야 할 범주가 넷으로 늘어난 사례에서, 조건에 맞는 위치를 찾아 값을 통일하는 방법을 보여 준다. 소득 분포에서는 대다수가 10만 달러 안팎인데 50만 달러가 소수 섞여 있는 상황을 짚고, 1사분위수와 3사분위수의 차이인 사분위 범위에 1.5배를 곱해 위아래 경계를 잡는 표준적인 방식으로 걸러 냈다. 마지막으로 범주형 변수를 원-핫 인코딩할 때 첫 범주를 기준으로 삼아 제외하는 이유를, 남은 범주의 추정치가 그 기준 범주와 비교된다는 해석 관점에서 설명했다.

주요 인사이트

• 정제 단계마다 결과를 새 데이터셋으로 남기는 습관은, 나중에 어떤 처리를 적용한 데이터로 모델을 학습시켰는지 되짚을 수 있게 해 준다.
• 중복 판정은 기술이 아니라 정의의 문제다. 같은 사람을 어떤 열의 조합으로 식별할지 정하지 않으면 어떤 결과도 신뢰할 수 없다.
• 숫자 열에 문자가 하나 섞이는 것만으로 열 전체의 타입이 바뀐다는 점은, 외부 시스템에서 데이터를 받아올 때 특히 자주 부딪히는 함정이다.
• 이상치를 기계적으로 잘라내기 전에, 그 값이 입력 오류인지 고연봉 임원 같은 실제 특성인지 먼저 구분해야 한다는 관점이 반복해서 나온다.
• 원-핫 인코딩에서 첫 범주를 빼는 것은 단순한 관행이 아니라, 모델 계수를 해석할 기준점을 정하는 작업이다.

자주 묻는 질문

관련 AI 소식