머신러닝 입문 강의 정리: 선형회귀부터 SVM·결정트리·교차검증과 캡스톤 프로젝트까지

핵심 메시지

• 통계적 머신러닝은 가볍고 학습이 빠르며 비용이 싸다. 강사는 프로젝트의 어떤 부분은 생성형 AI로, 어떤 부분은 통계적 머신러닝으로 처리한다고 말한다.
• 모델 평가는 반드시 보지 않은 데이터로 해야 한다. 학습에 쓴 문제로 시험을 보면 점수는 높아도 실력은 알 수 없다.
• 불균형 데이터에서 정확도는 사람을 속인다. 사기 거래 예제에서 전부 정상이라고 답해도 99% 정확도가 나온다.
• 과적합과 과소적합은 옷의 핏에 비유된다. 몸이 조금 변해도 입을 수 있는 균형 잡힌 핏이 목표다.
• 학습·테스트를 한 번 나누는 것으로는 점수가 분할 방식에 따라 흔들린다. k-폴드 교차검증과 그리드 탐색으로 이 무작위성을 다스린다.

쉽게 이해하기

강의는 도발적인 질문으로 시작한다. 생성형 AI가 모든 것을 삼킨 것처럼 보이는 지금 통계적 머신러닝을 왜 배워야 하느냐는 것이다. 강사의 답은 실무 감각에 가깝다. 자신이 운영하는 AI 서비스 회사에서 고객 프로젝트를 만들다 보면 상당 부분이 여전히 통계적 머신러닝을 필요로 하며, 이유는 모델이 가볍고 학습이 쉬우며 비용이 저렴하기 때문이라는 것이다. 복잡한 도심 교통에서 상황에 따라 차와 오토바이를 골라 타듯, 프로젝트 안에서도 두 접근을 나눠 쓴다는 비유가 이어진다.

본격적인 출발점은 선형회귀다. 데이터에 가장 잘 맞는 직선을 찾는다는 것은 결국 기울기와 절편을 데이터로부터 찾아내는 일이고, 그 계산을 담당하는 기법이 경사하강법이라는 설명이 나온다. 강의는 이 크래시 코스가 빠른 속도의 입문 과정임을 분명히 하고 수학적 유도는 깊게 파지 않는다고 밝히면서, 종속변수와 독립변수 같은 용어를 대화에서 바로 쓸 수 있을 만큼만 정리한다.

다음은 평가의 문제다. 데이터를 80대 20으로 나누고 보지 않은 20%로 점수를 매기는 이유를, 학습한 문제로 시험을 보면 96%가 나오지만 새 문제에서는 88%가 나오는 학생 비유로 설명한다. 이어 분류 문제로 넘어가면서 정확도만 보는 것의 위험을 짚는다. 사기 거래가 극히 드문 데이터에서는 모두 정상이라고 예측해도 99% 정확도가 나오므로, 정밀도와 재현율을 함께 담은 분류 리포트를 봐야 한다는 것이다.

중반부는 데이터 정제와 모델 종류로 이어진다. 결측치를 세고 나이가 음수이거나 200인 값을 찾아내는 탐색적 데이터 분석, 이름이나 식별자처럼 예측에 무관한 열을 떨어내는 과정이 실제 코드로 진행된다. 모델 쪽에서는 SVM이 n차원 공간에서 집단 사이의 마진을 최대로 하는 초평면을 긋는다는 개념과 감마·규제 파라미터가, 결정트리에서는 어떤 열로 먼저 나눌지를 엔트로피와 정보 이득으로 정한다는 원리가 다뤄진다. 과적합과 과소적합은 티셔츠의 핏과 벼락치기 학생 비유로 풀어낸다.

후반부의 주제는 신뢰할 수 있는 평가와 자동화다. 한 번의 분할로 얻은 점수는 난수 시드에 따라 92%가 되기도 82%가 되기도 하므로 k-폴드 교차검증이 필요하다는 설명이 나오고, 그리드 탐색으로 하이퍼파라미터 조합을 훑되 조합과 데이터가 커지면 계산량이 폭발하므로 무작위 탐색으로 반복 횟수를 제한하는 방법이 소개된다. 비지도 학습에서는 나이와 소득처럼 범위가 다른 열을 스케일링하지 않으면 군집이 엉뚱하게 잡히는 장면을 직접 보여 준다. 마지막 캡스톤은 상품 반품 예측으로, 상관관계 분석부터 모델 저장과 재사용까지 처음부터 끝까지 이어진다.

주요 인사이트

• 이 강의의 프레임은 '생성형 AI 대 머신러닝'이 아니라 '언제 무엇을 쓰는가'다. 레이블이 붙은 수치 데이터에서 빠르고 저렴한 분류·회귀가 필요할 때가 통계적 머신러닝의 자리다.
• 정확도 하나만 보는 습관은 불균형 데이터에서 가장 크게 무너진다. 강의가 정밀도와 재현율을 분류 리포트로 함께 읽히는 이유다.
• 스케일링은 전처리의 형식적 절차가 아니다. 범위가 다른 열을 그대로 넣으면 군집 결과가 눈으로 봐도 틀리게 나온다는 것을 강의는 실행 결과로 보여 준다.
• 하이퍼파라미터 탐색의 비용 감각을 함께 가르친다. 조합 20개에 5겹 교차검증이면 모델 100개를 학습시키는 셈이라는 계산이 무작위 탐색의 필요를 설명한다.
• 학습을 끝낸 뒤 모델을 파일로 저장해 다른 노트북이나 다른 사람의 컴퓨터에서 불러 예측하는 단계까지 다뤄, 실험이 배포로 이어지는 경로를 보여 준다.

자주 묻는 질문

관련 AI 소식