기계학습과 대칭성 - 불변론과 갈루아 이론으로 입력 크기에 얽매이지 않는 모델 만들기
펜실베이니아대 AI 세미나에서 솔레다드 비야르 교수가 물리 법칙의 대칭성을 신경망 구조에 심는 방법과, 작은 데이터로 학습한 모델을 더 큰 입력이나 더 큰 모델로 옮기기 위한 수학적 조건을 설명했다. 불변론과 갈루아 이론이 도구로 쓰인다.
핵심 내용 읽기 →
AI TOPIC
하이퍼파라미터 최신 뉴스와 핵심 해설
하이퍼파라미터 관련 핵심 뉴스와 활용 인사이트 6편을 최신순으로 모았습니다.
옵티마이저와 분산 학습 정리: 모멘텀·Adam·데이터 병렬화가 신경망 훈련을 바꾸는 방식
AI 안전 교육 프로그램 ARENA의 신경망 학습 강의를 정리했다. SGD와 모멘텀, Adam 옵티마이저의 작동 원리부터 하이퍼파라미터 자동 탐색 도구 활용법, 그리고 데이터·파이프라인·텐서 병렬 분산 학습 세 방식의 차이와 한계까지 짚는다.
핵심 내용 읽기 →
AutoML 모델 최적화의 여섯 가지 축과 순차 탐색·결합 탐색 전략 총정리 가이드
머신러닝 모델 최적화를 하이퍼파라미터 튜닝으로만 좁게 보면 안 되는 이유를 짚는다. 파라미터부터 피처 변환까지 여섯 개 축을 정의하고, 순차 최적화의 한계와 결합 최적화의 비용, 반복형 알고리즘을 교차시키는 절충안을 정리했다.
핵심 내용 읽기 →
스탠퍼드 CS336 강의로 보는 LLM 아키텍처 설계: 정규화·활성화·하이퍼파라미터 합의
스탠퍼드 CS336 강의가 최근 공개된 언어모델 수십 종의 설계를 비교해 정리한 내용. 정규화 층의 위치와 RMS 정규화, 게이트 활성화가 표준이 된 이유, 그리고 하이퍼파라미터의 넓은 안전 구간을 짚는다.
핵심 내용 읽기 →
머신러닝 용어 총정리: 지도학습·과적합·하이퍼파라미터 핵심 개념
데이터와 특성의 정의부터 지도·비지도·강화학습, 손실함수와 경사하강법, 과적합과 정규화, 특성 공학까지 실무에서 쓰이는 머신러닝 용어를 초급부터 차근차근 정리했습니다.
핵심 내용 읽기 →
LLM 하이퍼파라미터 — 온도, Top-p, 빈도·존재 페널티 쉽게 이해하기
LLM이 다음 토큰을 고르는 소프트맥스 확률을 온도, Top-p, 빈도·존재 페널티가 어떻게 바꾸는지 직관과 수식으로 풀었다. 결정성과 창의성을 조절하는 실전 감각을 정리했다.
핵심 내용 읽기 →