CatBoost 원리 정리: 확장 평균 타깃 인코딩과 순서형 부스팅이 과적합을 막는 방법
표 형태 데이터에서 좋은 성능을 내는 CatBoost가 어떻게 동작하는지 살펴본다. 타깃값으로 범주형 변수를 인코딩할 때 생기는 데이터 누수와, 부스팅 반복 자체가 만드는 누수를 막는 두 기법을 정리했다.
핵심 내용 읽기 →
AI TOPIC
정형 데이터 최신 뉴스와 핵심 해설
정형 데이터 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
정형 데이터 딥러닝 정리: FT-트랜스포머와 XTab 크로스 테이블 사전학습, 부스팅과의 성능 비교
고려대 DMQA 연구실 세미나가 표 형태의 정형 데이터에서 딥러닝이 그레이디언트 부스팅을 넘어섰는지 검증한 두 논문을 정리했다. FT-트랜스포머의 구조와, 컬럼 구조가 다른 테이블 사이의 사전학습을 가능하게 한 XTab의 아이디어를 함께 살펴본다.
핵심 내용 읽기 →
XGBoost 작동 원리: 정규화 손실함수·2차 테일러 근사·병렬 분할 탐색 정리
대규모 정형 데이터의 표준이 된 XGBoost가 일반 그래디언트 부스팅과 무엇이 다른지, 복잡도를 제어하는 정규화 손실함수와 2차 테일러 근사, 결측치 처리, 병렬 분할 탐색까지 핵심 원리를 정리했다.
핵심 내용 읽기 →