생성형 AI 데이터 분석 입문: 데이터 기반 의사결정 6단계와 전처리·시각화·상관분석 실무 정리

핵심 메시지

• 데이터 기반 의사결정은 문제 정의, 데이터 수집, 전처리, 분석, 전략 수립, 결과 평가의 6단계가 순환하는 구조다.
• 전문 분석 역량이 없어도 생성형 AI에 단계별로 질문을 던지면 시각화와 요약을 받아 인사이트까지 이어갈 수 있다는 것이 강의의 핵심 주장이다.
• 프롬프트는 역할·맥락·명령·형식·어조 다섯 가지 요소를 갖추어 작성하고, 계산 단계와 출력 형식을 나눠 지시할 때 결과가 정돈된다.
• 전처리에서 다뤄야 할 품질 이슈는 결측값·중복값·이상값 세 가지이며, 이상값은 IQR의 1.5배 범위를 기준으로 식별한다.
• 상관계수는 탐색 도구일 뿐 인과관계의 근거가 아니다. 아이스크림 판매량과 익사 사고의 관계처럼 기온 같은 제3의 변수를 놓치면 해석이 어긋난다.

쉽게 이해하기

이 강의는 생성형 AI 활용 과정의 네 번째 장으로, 데이터 분석과 시각화를 다룬다. 이야기의 축은 SNS 광고에서 강의 등록으로 이어지는 성과를 분석하려는 한 에듀테크 기업의 상황이다. 등록 전환율(CVR)과 가장 관련 깊은 요인은 무엇인지, 특정 조건에서 전환율을 예측할 수 있는지 같은 질문에서 출발해, 기초 탐색부터 상관 분석과 회귀, 인사이트 도출까지 순서대로 짚어 나간다.

먼저 데이터 기반 의사결정의 6단계를 정리한다. 문제 정의로 시작해 데이터를 수집하고, 전처리를 거쳐 분석한 뒤, 전략을 세우고 결과를 평가한다. 중요한 점은 이 과정이 한 방향으로 끝나지 않고 순환한다는 것이다. 결과 평가에서 나온 피드백이 다시 새로운 문제 정의로 이어진다. 분석의 목적도 요약, 원인, 예측, 추천 네 가지로 나뉘며 각각 '무엇이 일어났는가', '왜 일어났는가', '무엇이 일어날 것인가', '무엇을 해야 하는가'라는 서로 다른 질문에 답한다.

데이터 유형에 대한 정리도 실용적이다. 값의 성격에 따라 수치형과 범주형으로 나뉘고, 범주형은 순서가 없는 명목형과 등급이 있는 순서형으로, 수치형은 셀 수 있는 이산형과 소수점으로 나뉘는 연속형으로 갈린다. 더 넓게 보면 텍스트, 시계열, 네트워크 데이터까지 다섯 가지 유형이 있고, 유형과 목적의 조합에 따라 쓰는 기법이 달라진다. 수치형 예측에는 선형 회귀나 랜덤 포레스트를, 범주형 분류에는 로지스틱 회귀나 SVM을 쓰는 식이다.

전처리 단계에서는 결측값, 중복값, 이상값 세 가지를 다룬다. 결측값은 비율이 낮으면 삭제하고, 그렇지 않으면 수치형은 평균이나 중앙값으로 범주형은 최빈값으로 대체한다. 중복은 완전히 같은 행을 제거하거나 의미가 있으면 집계해 통합한다. 이상값은 4분위수를 이용해 Q1에서 IQR의 1.5배를 뺀 값보다 작거나 Q3에 1.5배를 더한 값보다 큰 경우로 식별하며, 박스플롯에서 상자 밖 점으로 드러난다. 강의는 이 과정을 200개 데이터에 대해 코파일럿으로 수행하는 실습으로 이어간다.

시각화는 변수 하나를 보는 단변량과 둘 이상의 관계를 보는 다변량으로 나뉜다. 단변량에는 범주형용 막대그래프, 연속형용 히스토그램과 박스플롯이 쓰이고, 다변량에는 산점도와 히트맵이 쓰인다. 상관계수는 절댓값 0.7 이상이면 강한 상관, 0.4~0.6이면 중간, 0.1~0.3이면 약한 상관으로 해석한다. 다만 강의가 거듭 강조하는 지점은 상관이 인과가 아니라는 것이다. 상관계수가 높다고 무조건 중요한 변수로 단정하거나, 0.3밖에 안 된다고 무시하는 것 모두 잘못된 접근이며, 도메인에 따라 약한 상관도 의미를 가질 수 있다.

주요 인사이트

• 이 강의의 메시지는 'AI가 분석을 대신해 준다'가 아니라 '분석의 뼈대를 알아야 AI에게 제대로 시킬 수 있다'에 가깝다. 6단계 프로세스와 데이터 유형 구분이 곧 프롬프트의 골격이 된다.
• 역할·맥락·명령·형식·어조로 프롬프트를 구성하는 방식은, 계산 단계와 출력 형태를 분리해 지시하기 때문에 결과를 검증하기도 쉬워진다.
• 전처리를 건너뛰면 이후의 모든 수치가 흔들린다. 결측·중복·이상값 확인을 분석의 앞 단계로 못 박아 두는 것만으로도 실무 오류가 크게 줄어든다.
• 상관계수를 '탐색 도구'로 못 박은 대목이 실무적으로 가장 값지다. 잠재 변수의 존재 가능성을 항상 열어 두는 태도가 데이터 해석의 안전장치가 된다.
• 분석 결과를 전략으로 옮기는 단계까지 절차화한 점이 눈에 띈다. 인사이트 요약, 결정 항목 도출, 옵션 설계, 기대효과 추정, 우선순위 결정, 보고서 작성 순으로 이어진다.

자주 묻는 질문

관련 AI 소식