퓨즈드 라소(Fused Lasso) 정리: 시계열·공간 데이터에 어울리는 라소 회귀 확장
라소 회귀에 인접한 계수끼리 크게 벌어지지 못하도록 붙잡는 제약을 하나 더 얹은 퓨즈드 라소를 정리했다. 월별 강수량으로 집값을 예측하거나 인접 토지의 상태로 철도 건설비를 추정할 때 왜 유용한지 예제로 설명한다.
핵심 내용 읽기 →
AI TOPIC
정규화 최신 뉴스와 핵심 해설
정규화 관련 핵심 뉴스와 활용 인사이트 13편을 최신순으로 모았습니다.
L3 정규화란 무엇인가 — 라쏘·릿지 너머의 제약 모양과 계수 크기를 맞추는 규제
라쏘와 릿지 사이가 아니라 그 바깥을 보면 무엇이 있을까. L3 정규화의 제약 영역이 어떤 모양이고 그것이 어떤 해를 선호하는지, 그리고 왜 교과서와 라이브러리에서 거의 보이지 않는지를 짚어 정리했다.
핵심 내용 읽기 →
편향-분산 트레이드오프와 이중 하강, 정규화까지: 스탠퍼드 CS229 머신러닝 6강 정리
스탠퍼드 CS229 6강은 편향과 분산, 릿지 정규화라는 고전 이론을 정리한 뒤 거대 모델에서 관측된 이중 하강과 벤치마크 재현 실험을 통해 그 상식이 어떻게 흔들렸는지 설명한다. 하이퍼파라미터 탐색법도 함께 다룬다.
핵심 내용 읽기 →
정규화란? LLM 학습을 가능케 하는 RMSNorm·LayerNorm·QK-Norm 원리 해설
정규화는 활성값의 크기를 다스려 손실 지형을 매끄럽게 만들고 깊은 LLM을 학습 가능하게 하는 핵심 층이다. LayerNorm에서 RMSNorm, Pre/Post/Peri 배치, QK-Norm, 그리고 통계 자체를 없앤 Dynamic Tanh까지의 진화를 정리했다.
핵심 내용 읽기 →
배치 정규화와 레이어 정규화의 차이 — 트랜스포머가 배치 노름 대신 레이어 노름을 쓰는 이유
배치 노름과 레이어 노름은 신경망 값을 안정시키는 같은 목표를 갖지만 어느 축으로 평균을 내는가가 다르다. 트랜스포머가 가변 길이 패딩과 작은 배치, 토큰 단위 추론 때문에 배치 노름을 버리고 레이어 노름을 택한 이유를 쉽게 정리했다.
핵심 내용 읽기 →
트랜스포머 정규화 층 원리와 DyT·DERF 대체 실험 정리
트랜스포머마다 들어가는 정규화 층이 학습을 안정시키는 원리와, 이를 간단한 원소별 함수(DyT·DERF)로 대체할 수 있다는 최신 연구 결과를 쉽게 풀어 설명합니다.
핵심 내용 읽기 →
이중 하강(double descent)이란? 큰 모델이 더 잘 일반화되는 이유와 편향-분산
교과서의 U자형 편향-분산 곡선은 모델이 크면 과적합된다고 가르친다. 그러나 대형 신경망은 강한 정규화 없이도 일반화가 잘 된다. 보간 임계점 너머에서 테스트 오차가 다시 내려가는 이중 하강을 정리했다.
핵심 내용 읽기 →
RMS Norm 정규화 쉽게 이해하기 — 레이어 정규화보다 빠른 트랜스포머 정규화
RMS Norm(루트 평균 제곱 정규화)은 레이어 정규화를 단순화한 기법으로 미스트랄·라마 같은 대형 언어 모델에 쓰인다. 평균과 분산 계산을 빼고 루트 평균 제곱만으로 조정해 연산을 크게 줄이는 원리와 레이어 정규화와의 차이를 정리했다.
핵심 내용 읽기 →
조기 종료(Early Stopping)란? 검증 손실로 과적합을 자동으로 막는 4가지 구성 요소
조기 종료는 검증 손실이 다시 증가하기 시작하는 변곡점에서 학습을 멈춰 과적합을 막는 정규화 기법이다. 검증 세트, 성능 지표, 최적 가중치 저장, 정지 트리거라는 4가지 구성 요소와 인내(patience) 개념까지 쉽게 정리했다.
핵심 내용 읽기 →
라벨 스무딩(Label Smoothing): 과잉 확신·과적합을 줄이는 딥러닝 정규화 기법
라벨 스무딩이 원-핫 정답 벡터를 살짝 부드럽게 만들어 모델의 과잉 확신과 과적합을 줄이는 원리를 설명한다. 교차 엔트로피·최대 가능도와의 관계, 스무딩 정도 알파의 선택, 파이토치에서의 한 줄 적용법까지 차근차근 정리했다.
핵심 내용 읽기 →
머신러닝 편향과 분산(Bias-Variance): 과적합과 과소적합을 가르는 핵심 개념
쥐의 몸무게로 키를 예측하는 직관적 예시에서 직선 회귀와 구불구불한 곡선을 비교하며, 편향과 분산이 각각 무엇인지, 왜 한쪽을 줄이면 다른 쪽이 늘어나는지, 그리고 과적합을 피하는 최적점은 어떻게 찾는지 쉽게 설명한다.
핵심 내용 읽기 →
드롭아웃 정규화 원리 완벽 정리: 뉴런을 무작위로 끄는 이유와 L2 정규화와의 관계 이해하기
드롭아웃은 학습 때마다 뉴런 일부를 무작위로 꺼서 신경망의 과적합을 막는 정규화 기법입니다. 왜 효과가 있는지, L2 정규화와 어떤 관계인지, 층마다 어떻게 강도를 조절하는지 직관적으로 정리했습니다.
핵심 내용 읽기 →
머신러닝 정규화(Regularization) 직관 — 릿지·라쏘를 베이즈 사전확률로 이해하기
정규화를 릿지·라쏘의 '계수 줄이기'로만 배우면 왜 그렇게 하는지 모른다. 출퇴근 시간 예시와 베이즈 통계의 사전확률로 정규화의 본질과 그 한계를 직관적으로 설명한다.
핵심 내용 읽기 →