딥러닝 손실 함수 총정리: MSE·Huber·크로스 엔트로피부터 센터 로스·트리플렛 로스까지
카네기멜런대 딥러닝 수업 자료를 바탕으로 회귀·분류·임베딩 학습에 쓰이는 손실 함수를 네 갈래로 정리했다. 각 손실이 어떤 오차에 더 큰 기울기를 주는지, 파이토치에서 흔한 실수는 무엇인지 살핀다.
핵심 내용 읽기 →
AI TOPIC
손실 함수 최신 뉴스와 핵심 해설
손실 함수 관련 핵심 뉴스와 활용 인사이트 9편을 최신순으로 모았습니다.
AI와 수학 함수: 손실함수와 엔트로피, 삼각함수 위치 인코딩, 강화학습 보상함수 정리
카이스트 김정호 교수가 정답과의 거리를 줄이는 평균제곱오차와 엔트로피, 확률을 만드는 소프트맥스, 삼각함수를 쓰는 위치 인코딩과 강화학습 보상함수를 차례로 들어 AI를 통제하는 수단이 결국 수학 함수라고 설명한다.
핵심 내용 읽기 →
신경망은 어떻게 학습하는가: 손실 함수와 경사하강법, 역전파의 작동 원리 한 번에 이해하기
신경망이 고양이 사진을 알아보기까지 무슨 일이 벌어질까. 손실 함수로 오차를 재고, 경사하강법으로 내리막을 찾고, 역전파로 각 가중치의 책임을 되짚는 학습의 전 과정을 4분짜리 해설 영상을 따라 차근히 정리했다.
핵심 내용 읽기 →
대조 학습이란: 라벨 없는 데이터로 표현을 배우는 SimCLR·CLIP과 손실 함수 정리
정답 라벨이 없어도 쓸모 있는 표현을 배우는 대조 학습의 원리를 정리했다. 데이터 증강으로 양성 쌍을 만드는 방식부터 SimCLR과 CLIP, 그리고 트리플렛 손실과 NT-Xent 같은 손실 함수까지 짚는다.
핵심 내용 읽기 →
역전파 알고리즘 원리 정리: 손실 함수와 경사하강법, 연쇄법칙으로 본 딥러닝 학습 과정
딥러닝 모델이 데이터로부터 학습하는 원리를 역전파 알고리즘으로 풀어봅니다. 손실 함수를 정의하는 이유부터 경사하강법이 필요한 까닭, 연쇄법칙으로 기울기를 뒤에서 앞으로 전달하는 과정, 파라미터 갱신까지 순서대로 정리했습니다.
핵심 내용 읽기 →
크로스 엔트로피 쉽게 이해하기: 압축, 엔트로피, 그리고 언어 모델 학습 손실함수의 연결
3Blue1Brown이 gzip 압축만으로 언어 계통을 찾아낸 2002년 연구에서 출발해, 크로스 엔트로피가 무엇이며 왜 대규모 언어 모델의 학습 손실함수로 쓰이는지를 직관적으로 설명하고, 압축과 학습 사이의 숨은 연결까지 짚어 본다.
핵심 내용 읽기 →
경사 하강법 원리 단계별 정리: 손실 함수와 학습률로 최적값을 찾는 방법과 확률적 경사 하강법
선형 회귀의 절편과 기울기를 예시로, 경사 하강법이 손실 함수의 도함수를 따라 최적값에서 멀면 큰 걸음을, 가까우면 작은 걸음을 밟으며 다가가는 과정을 학습률과 확률적 경사 하강법(SGD)까지 곁들여 단계별로 설명한다.
핵심 내용 읽기 →
후버 손실(Huber Loss)이란? 이상치에 강한 강건 회귀 원리와 sklearn 활용
선형회귀는 오차를 제곱하는 MSE를 쓰기에 이상치 하나가 회귀선을 크게 끌어당긴다. 후버 손실은 임계값을 기준으로 작은 오차엔 제곱, 큰 오차엔 선형 페널티를 적용해 이상치 영향을 억제한다. sklearn의 HuberRegressor 적용법까지 정리했다.
핵심 내용 읽기 →
힌지 손실(Hinge Loss) 완벽 이해 — SVM 최대 마진 분류의 손실 함수 원리
손실 함수는 예측이 실제값에서 얼마나 벗어났는지를 측정한다. 서포트 벡터 머신(SVM)의 최대 마진 분류에 쓰이는 힌지 손실이 분류 정확성과 결정 경계까지의 거리를 함께 따지는 원리를 그림과 수식으로 풀어 정리했다.
핵심 내용 읽기 →