특성 공학 정리: 원-핫 인코딩과 변수 변환으로 원시 데이터를 예측력으로 바꾸는 법

핵심 메시지

• 특성 공학은 세상에 존재하는 원시 정보를 AI 모델의 예측력을 극대화하는 형태로 변환하는 과정이다.
• 데이터 파이프라인, ETL, 변수 변환 등 다양한 이름으로 불리지만 데이터 과학 맥락에서는 사실상 같은 의미다.
• 가장 흔한 기법은 범주형 변수를 0과 1의 여러 열로 나누는 더미 변수(원-핫 인코딩)다.
• 문서 데이터는 전체를 모델에 넣는 대신 요약하거나 핵심 정보(관련 인물·기업)를 추출해 활용한다.

쉽게 이해하기

발표자는 데이터 과학을 '세상에 존재하는 원시 정보에서 실행 가능한 통찰을 만들어내는 일'로 정의한다. 모델링과 배포, 통찰 도출은 잘 알려져 있지만, 그 사이에서 원시 정보를 변환된 정보로 바꾸는 단계, 즉 특성 공학은 받아야 할 만큼의 주목을 받지 못한다고 지적한다.

특성 공학은 데이터 파이프라인, ETL, 변수 변환, 데이터 변환 등 여러 이름으로 불린다. 다른 맥락에서는 각각 다른 뜻일 수 있지만, 데이터 과학에서는 모두 원시 정보를 모델이 더 잘 예측하도록 가공한다는 같은 의미로 쓰인다.

가장 대표적인 기법은 더미 변수, 즉 원-핫 인코딩이다. 'yes/no' 같은 범주형이나 텍스트는 많은 모델이 그대로 처리하지 못한다. 그래서 한 열을 여러 열로 나누어, 해당 값이면 1, 아니면 0으로 표시해 범주를 숫자 변수로 펼친다. 이렇게 하면 머신러닝 모델이 소비하기 쉬워진다.

이 밖에도 변수에 자연로그를 취하거나, 역수를 취하거나, 두 열을 곱해 새 변수를 만드는 등의 변환이 있다. 모두 원시 데이터를 더 예측력 높은 모델로 이어지도록 다듬는 작은 작업들이다.

문서 데이터는 방식이 조금 다르지만 원리는 같다. PDF나 텍스트 파일 전체를 모델에 넣는 대신 LLM 등으로 요약하거나, 문서에서 관련 인물·기업 같은 핵심 특징을 추출해 모델에 사용한다. 무엇이라 부르든 핵심은 원시 정보를 AI 구축에 더 유용한 형태로 바꾸는 것이다.

주요 인사이트

• 특성 공학은 모델링·배포에 가려 과소평가되지만, 원시 데이터를 변환하는 이 단계가 모델 예측력을 좌우한다.
• 많은 모델은 텍스트나 범주를 직접 다루지 못하므로, 원-핫 인코딩으로 범주를 숫자 열로 펼치는 전처리가 필수다.
• 로그·역수 변환, 두 변수의 곱처럼 단순한 변환도 더 예측력 있는 특징을 만들어낸다.
• 문서는 요약이나 핵심 정보 추출로 전체를 통째로 넣지 않고도 모델이 쓸 수 있는 특징으로 바꿀 수 있다.

자주 묻는 질문

관련 AI 소식