머신러닝 트레이딩 기법 정리: 과적합과 교차검증부터 랜덤포레스트·부스팅·HMM까지
퀀트 스터디 발표에서 정리한 머신러닝 트레이딩의 핵심을 옮겼다. 표본 내 성능과 표본 밖 성능의 격차, 시계열 교차검증과 배깅·부스팅 앙상블, SVM과 은닉 마르코프 모델, 그리고 단순한 모델이 자주 이기는 이유까지 짚는다.
핵심 내용 읽기 →
AI TOPIC
과적합 최신 뉴스와 핵심 해설
과적합 관련 핵심 뉴스와 활용 인사이트 19편을 최신순으로 모았습니다.
스케일링 법칙이란? 파라미터가 많을수록 AI 모델이 똑똑해지는 이유와 과적합의 함정
GPT 세대 교체를 설명할 때마다 등장하는 '파라미터가 더 많아서'라는 말의 근거를, 손잡이 두 개짜리 직선 모델에서 출발해 과적합의 함정과 로그 축의 멱법칙 그래프까지 차근차근 따라가며 풀어본다.
핵심 내용 읽기 →
MIT 6.S191 딥러닝 입문 2026년판 1강 정리: 퍼셉트론부터 경사하강법과 정규화까지
MIT 6.S191 2026년판 첫 강의를 정리했습니다. 비행기 모드 휴대폰에서 도는 언어 모델 시연으로 시작해 퍼셉트론, 손실 함수, 역전파, 드롭아웃과 조기 종료까지 딥러닝의 뼈대를 차근차근 훑어 나갑니다.
핵심 내용 읽기 →
이중 하강 곡선 정리: 파라미터를 더 늘릴수록 과적합이 사라지는 이유와 보간 임계점
머신러닝 교과서의 편향-분산 곡선은 전체의 왼쪽 절반일 뿐이다. 파라미터가 데이터 수와 같아지는 보간 임계점에서 오차가 최악이 되고, 그 지점을 지나면 오차가 다시 내려가는 이중 하강 현상을 정리했다.
핵심 내용 읽기 →
CatBoost 원리 정리: 확장 평균 타깃 인코딩과 순서형 부스팅이 과적합을 막는 방법
표 형태 데이터에서 좋은 성능을 내는 CatBoost가 어떻게 동작하는지 살펴본다. 타깃값으로 범주형 변수를 인코딩할 때 생기는 데이터 누수와, 부스팅 반복 자체가 만드는 누수를 막는 두 기법을 정리했다.
핵심 내용 읽기 →
거대 언어모델이 더 똑똑해지는 원리: 과적합과 이중 하강, 로또 티켓 가설로 풀어보는 '규모의 법칙'
통계학습이론은 큰 모델일수록 과적합으로 성능이 나빠진다고 예측했지만 실제 대규모 언어모델은 정반대였다. 이중 하강과 로또 티켓 가설을 통해 신경망을 키울수록 오히려 더 잘 일반화하는 원리를 쉽게 풀어본다.
핵심 내용 읽기 →
머신러닝 기초 총정리: 데이터 사이언스, 지도·비지도·강화학습, 과적합과 편향-분산
입문자를 위한 머신러닝·데이터 사이언스 기초 강의를 정리했다. 빅데이터의 4V, AI·ML·DL의 관계, 세 가지 학습 유형, 과적합과 편향-분산 트레이드오프까지 핵심 개념을 다룬다.
핵심 내용 읽기 →
머신러닝 용어 총정리: 지도학습·과적합·하이퍼파라미터 핵심 개념
데이터와 특성의 정의부터 지도·비지도·강화학습, 손실함수와 경사하강법, 과적합과 정규화, 특성 공학까지 실무에서 쓰이는 머신러닝 용어를 초급부터 차근차근 정리했습니다.
핵심 내용 읽기 →
머신러닝 입문 쉽게 이해하기: 예측·분류 개념과 테스트 데이터로 좋은 모델 고르는 법까지
조시 스타머의 스탯퀘스트 머신러닝 입문 강의를 정리했습니다. 결정 트리와 직선·곡선 예시로 예측·분류 개념을 설명하고, 훈련 데이터가 아닌 테스트 데이터로 좋은 모델을 고르는 핵심 원리를 쉽게 짚어 줍니다.
핵심 내용 읽기 →
가중치 감쇠(Weight Decay)란? 과적합 막는 L2 정규화 원리와 AdamW 정리
신경망 과적합을 줄이는 가중치 감쇠(L2 정규화)의 작동 원리를 쉽게 정리했다. 손실 함수에 가중치 제곱 페널티를 더하는 방식, 정규화 강도 람다 조절, SGD와 AdamW의 차이, 실전 적용법까지 한눈에 살펴본다.
핵심 내용 읽기 →
그로킹(Grokking)이란? 신경망이 암기를 끝낸 뒤 뒤늦게 일반화하는 현상 정리
학습 손실이 0이 된 뒤에도 한참 더 훈련하면 테스트 정확도가 갑자기 치솟는 그로킹 현상을 정리했다. 암기에서 이해로의 상전이, 그리고 가중치 감쇠·회로 형성·SGD 편향이라는 세 가지 동인을 살펴본다.
핵심 내용 읽기 →
이중 하강(double descent)이란? 큰 모델이 더 잘 일반화되는 이유와 편향-분산
교과서의 U자형 편향-분산 곡선은 모델이 크면 과적합된다고 가르친다. 그러나 대형 신경망은 강한 정규화 없이도 일반화가 잘 된다. 보간 임계점 너머에서 테스트 오차가 다시 내려가는 이중 하강을 정리했다.
핵심 내용 읽기 →
조기 종료(Early Stopping)란? 검증 손실로 과적합을 자동으로 막는 4가지 구성 요소
조기 종료는 검증 손실이 다시 증가하기 시작하는 변곡점에서 학습을 멈춰 과적합을 막는 정규화 기법이다. 검증 세트, 성능 지표, 최적 가중치 저장, 정지 트리거라는 4가지 구성 요소와 인내(patience) 개념까지 쉽게 정리했다.
핵심 내용 읽기 →
라벨 스무딩(Label Smoothing): 과잉 확신·과적합을 줄이는 딥러닝 정규화 기법
라벨 스무딩이 원-핫 정답 벡터를 살짝 부드럽게 만들어 모델의 과잉 확신과 과적합을 줄이는 원리를 설명한다. 교차 엔트로피·최대 가능도와의 관계, 스무딩 정도 알파의 선택, 파이토치에서의 한 줄 적용법까지 차근차근 정리했다.
핵심 내용 읽기 →
교차검증이란 무엇인가: 4-폴드·10-폴드·LOOCV로 머신러닝 모델을 공정하게 평가하는 법
같은 데이터로 훈련과 평가를 동시에 하면 안 되는 이유부터 4-폴드·10-폴드·LOOCV, 그리고 튜닝 파라미터 탐색까지, 교차검증의 핵심 원리를 일반 독자의 눈높이에 맞춰 차근차근 짚어 정리했습니다.
핵심 내용 읽기 →
머신러닝 편향과 분산(Bias-Variance): 과적합과 과소적합을 가르는 핵심 개념
쥐의 몸무게로 키를 예측하는 직관적 예시에서 직선 회귀와 구불구불한 곡선을 비교하며, 편향과 분산이 각각 무엇인지, 왜 한쪽을 줄이면 다른 쪽이 늘어나는지, 그리고 과적합을 피하는 최적점은 어떻게 찾는지 쉽게 설명한다.
핵심 내용 읽기 →
드롭아웃 정규화 원리 완벽 정리: 뉴런을 무작위로 끄는 이유와 L2 정규화와의 관계 이해하기
드롭아웃은 학습 때마다 뉴런 일부를 무작위로 꺼서 신경망의 과적합을 막는 정규화 기법입니다. 왜 효과가 있는지, L2 정규화와 어떤 관계인지, 층마다 어떻게 강도를 조절하는지 직관적으로 정리했습니다.
핵심 내용 읽기 →
결정 트리(Decision Tree) 원리: 지니 불순도로 분류 모델 만드는 법 정리
결정 트리가 데이터를 참·거짓 질문과 분기로 나눠 분류하는 과정을, 지니 불순도로 최적 기준을 고르는 법부터 과적합을 막는 가지치기와 교차 검증까지 핵심 원리를 일반 독자 눈높이로 쉽게 풀어 설명합니다.
핵심 내용 읽기 →
AI 모델 작동 원리 입문: 모델이란 무엇이고 어떻게 학습·개선되는가
AI 모델을 '현실을 단순화한 입력-출력 기계'로 정의하고, 매장 매출 예측이라는 간단한 회귀 예시로 모델을 만들고 학습시키고 개선하는 과정과 과적합 문제까지 설명한다.
핵심 내용 읽기 →