AI 시대 데이터 과학자의 역량과 채용 – 카네기멜런 응용데이터과학 프로그램 디렉터 인터뷰
카네기멜런 응용데이터과학 프로그램 디렉터가 AI 도구가 일상이 된 뒤 데이터 직군에 요구되는 역량, 지원서가 폭증한 채용 시장의 실제 작동 방식, 조직이 새 기술을 도입할 때 반복하는 실수를 이야기한다.
핵심 내용 읽기 →
AI TOPIC
데이터 과학 최신 뉴스와 핵심 해설
데이터 과학 관련 핵심 뉴스와 활용 인사이트 24편을 최신순으로 모았습니다.
파이썬 데이터 정제 실전 가이드: 결측치·중복·이상치 처리와 범주형 인코딩 순서 정리
머신러닝에 들어가기 전 데이터를 다듬는 전 과정을 파이썬으로 따라가는 강의를 정리했다. 데이터 타입 교정과 중복 판정 기준, 결측치 처리 선택, 사분위수 기반 이상치 제거, 범주형 인코딩까지 실제 작업 순서를 다룬다.
핵심 내용 읽기 →
머신러닝 모델이 실무에서 실패하는 이유 — 프로젝트 범위 설정과 모델 드리프트 대응 전략
9년간 ML 모델을 배포해 온 엔지니어가 자신의 실패 사례로 강연을 연다. 이해관계자를 건너뛴 기획, 정량화되지 않은 성공 기준, 그리고 세상이 변하며 생기는 모델 드리프트를 어떻게 다룰지 정리한다.
핵심 내용 읽기 →
AI와 데이터 과학 주기율표: 문서 질의응답 시스템을 12개 원소로 조립하는 IBM의 설계 지도
IBM 엔지니어 두 사람이 AI와 데이터 과학 용어를 주기율표로 정리하고, 사내 문서 질의응답 시스템을 12개 원소로 조립해 보인다. ETL부터 가드레일까지 각 단계가 왜 필요한지, 드리프트 감지로 어떻게 순환 구조를 만드는지 짚는다.
핵심 내용 읽기 →
오즈와 확률의 차이, 베이즈 규칙·로지스틱 회귀·오즈비가 모두 비율 눈금을 택한 이유
확률과 오즈는 같은 믿음을 다르게 적은 것이지만 분모가 다르다. 분모가 함께 움직이는 오즈에서 베이즈 규칙은 곱셈이 되고, 로그를 씌우면 증거 한 조각의 값어치가 언제나 같은 크기로 보인다는 점을 짚는 해설이다.
핵심 내용 읽기 →
LLM으로 다음 직업 예측하기: 스탠퍼드 GSB 수전 애시가 40년 경력 데이터를 이력서로 바꿔 파인튜닝한 연구
스탠퍼드 GSB 수전 애시 교수팀이 40년간 쌓인 노동자 경력 설문을 이력서 형태의 글로 바꿔 오픈소스 LLM을 파인튜닝했다. 다음 직업 예측에서 기존 어떤 모델보다 정확했고, 같은 방식을 고객 여정과 의료에도 적용할 수 있다.
핵심 내용 읽기 →
관계형 데이터베이스 제로샷 예측 모델: 그래프 변환과 마스크 어텐션으로 피처 엔지니어링 대체
여러 테이블을 하나로 합치며 잃어버리던 관계 정보를 그래프로 되살려 예측하는 제로샷 모델을 소개한다. 2200만 파라미터 모델이 40억 규모 언어모델보다 품목 이탈 예측에서 앞선 이유와 마스크 어텐션 구조를 정리했다.
핵심 내용 읽기 →
생성형 AI 평가 방법 정리: 검증 데이터셋 구축과 LLM 심판 활용 실무 워크플로
생성형 AI 앱의 출력은 같은 프롬프트와 같은 모델에서도 흔들린다. 한 데이터 과학자가 입력·모델·출력 단계별 변동 요인을 짚고, 자체 검증 데이터셋과 LLM 심판, 단위 테스트로 평가 체계를 세우는 실무 절차를 순서대로 정리했다.
핵심 내용 읽기 →
파이썬 데이터 정제와 자동화 파이프라인 가이드: 결측치·이상치 처리부터 데이터 누수 방지까지
현업 데이터 과학자가 시간의 70~80%를 쓴다는 데이터 정제 과정을 결측치 진단, 중복 제거, 이상치 처리, 자료형 교정, 스케일링 순서로 정리하고 재사용 가능한 자동화 파이프라인 구성법과 데이터 누수 방지 요령까지 소개한다.
핵심 내용 읽기 →
평균 분산 왜도 첨도 완전 정리: 분포를 구별하는 네 가지 모멘트를 게임 비유로 이해하기
평균이 같고 분산까지 같은 두 게임을 어떻게 구별할까. 로또와 무보험 운전 비유로 왜도를, 통제된 위험과 돌발 변수 비유로 첨도를 설명한 딥러닝닷에이아이 협업 머신러닝 수학 강의를 한국어로 정리했다.
핵심 내용 읽기 →
판다스 시리즈(Pandas Series) 기초 정리 – 생성·인덱싱·연산·통계 한눈에
파이썬 데이터 분석 라이브러리 판다스의 핵심 자료구조인 시리즈를 리스트·넘파이·딕셔너리로 만들고 인덱싱·슬라이싱·필터링·통계 연산까지 예제로 정리했습니다.
핵심 내용 읽기 →
머신러닝 기초 완전 정리: 개념, 동작 원리, 지도·비지도·강화학습
머신러닝이 무엇인지, 데이터에서 어떻게 패턴을 배우는지, 지도·비지도·강화학습의 차이와 넷플릭스 추천부터 자율주행까지의 실제 사례를 초보자 눈높이로 정리했다.
핵심 내용 읽기 →
지수분포와 무기억성: 버스 대기시간에 숨은 확률의 원리 쉽게 이해하기
사건 사이의 대기 시간을 설명하는 지수분포와 포아송 분포의 관계, 그리고 이미 기다린 시간이 남은 시간을 알려주지 못하는 ‘무기억성’의 직관을 정리했습니다.
핵심 내용 읽기 →
표준편차와 표준오차의 차이: 데이터의 흩어짐과 평균 추정의 정밀도, 그리고 루트 n 관계
표준편차와 표준오차는 같은 데이터·같은 단위인데도 값이 열 배까지 차이 난다. 데이터의 흩어짐과 평균 추정의 정밀도라는 서로 다른 질문에 답하는 두 개념을, 시그마와 루트 n 관계로 키 측정 예시와 함께 명쾌하게 정리한다.
핵심 내용 읽기 →
AI 팀 구성 가이드: 내재화 vs 아웃소싱 10기준과 핵심 역할
AI 과제를 실행할 팀을 어떻게 마련할까. 내부 팀 구축과 아웃소싱을 가르는 10가지 판단 기준, 데이터과학자·데이터엔지니어·MLOps 등 AI 팀의 핵심·선택·지원 역할을 정리했다.
핵심 내용 읽기 →
파이썬 머신러닝 입문 강의 정리: 회귀·릿지·라쏘 핵심 개념
파이썬 머신러닝 풀코스가 다루는 학습 로드맵과 핵심 개념을 정리했다. 데이터에서 의사결정으로, 특성(차원) 축소의 직관, 선형·다중 선형 회귀와 계수의 의미, 그리고 릿지와 라쏘의 차이를 통한 특성 선택까지 살펴본다.
핵심 내용 읽기 →
SciPy 입문: 머신러닝을 위한 선형대수·최적화·통계 모듈 정리
NumPy 위에 세워진 과학 계산 라이브러리 SciPy의 주요 모듈과 머신러닝에서의 쓰임을 초보자 관점에서 정리한 튜토리얼 요약이다.
핵심 내용 읽기 →
LightGBM이란? 빠르고 정확한 머신러닝 그래디언트 부스팅 라이브러리 입문 정리
마이크로소프트가 개발한 LightGBM의 개념과 장단점, 주요 파라미터, XGBoost와의 차이, 실제 활용 사례까지 머신러닝 입문자를 위해 핵심만 정리했습니다.
핵심 내용 읽기 →
머신러닝이란? 분류와 예측, 학습 과정과 알고리즘 핵심 100초 요약
명시적 프로그래밍 없이 데이터로 학습하는 머신러닝의 개념을 분류와 예측, 데이터 정제와 특성 공학, 학습·검증 과정, 주요 알고리즘 중심으로 짧고 명확하게 정리했습니다.
핵심 내용 읽기 →
KL 발산 직관적 이해: 두 분포의 차이를 재는 공식을 비대칭성부터 직접 유도하기
두 확률분포의 차이를 재는 KL 발산을 외우는 공식이 아니라 문제에서 출발해 직접 만들어본다. 비대칭성, 로그 변환이 필요한 이유, 현재 분포 확률로 가중하는 까닭까지 단계별로 유도하고 데이터 과학 활용까지 정리했다.
핵심 내용 읽기 →
특성 공학 정리: 원-핫 인코딩과 변수 변환으로 원시 데이터를 예측력으로 바꾸는 법
특성 공학은 세상의 원시 데이터를 AI 모델이 더 잘 예측하도록 변환하는 과정이다. 더미 변수(원-핫 인코딩), 로그·역수 변환, 변수 결합, 문서 요약 등 IBM이 설명하는 핵심 기법을 정리했다.
핵심 내용 읽기 →
ARIMA 모델 쉽게 이해하기: 자기회귀·차분·이동평균을 결합해 시계열을 예측하는 법
시계열 예측의 사실상 표준인 ARIMA 모델을 자기회귀(AR)·차분(I)·이동평균(MA)의 결합으로 풀어 설명한다. 정상성 요건, 차수 p·d·q 선택, 최대우도추정까지 핵심 개념을 한국 독자를 위해 정리했다.
핵심 내용 읽기 →
TF-IDF 개념 쉽게 이해하기: 단어 빈도와 역문서 빈도로 문서의 핵심어 찾는 원리
TF-IDF는 여러 문서로 이뤄진 말뭉치에서 특정 단어가 한 문서에 얼마나 중요한지를 수치로 나타내는 텍스트 처리 지표다. 단어 빈도와 역문서 빈도의 곱으로 핵심어를 가려내는 원리를 예시로 설명한다.
핵심 내용 읽기 →
KNN 알고리즘 쉽게 이해하기: K-최근접 이웃 분류 원리와 적절한 K값 고르는 법
머신러닝 입문자를 위한 K-최근접 이웃(KNN) 분류 알고리즘 해설. 이미 범주를 아는 데이터 중 가장 가까운 이웃들의 다수결로 새 데이터의 범주를 정하는 원리와, 노이즈와 이상치를 피하는 적절한 K값 선택 요령을 예시와 함께 정리했다.
핵심 내용 읽기 →