Dion2 옵티마이저 공개 - 무온(Muon)의 직교화 비용을 줄여 대규모 학습을 확장하는 방법
마이크로소프트 리서치가 무온(Muon) 옵티마이저의 직교화 병목을 줄인 Dion2를 공개했다. 업데이트 행렬에서 노름이 큰 일부 행만 골라 직교화해 연산과 통신을 줄이면서도 학습 품질은 그대로 유지한다.
핵심 내용 읽기 →
AI TOPIC
Muon 최신 뉴스와 핵심 해설
Muon 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
AMUSE 논문 리뷰: 샤프니스와 리버 밸리 관점으로 본 Muon·스케줄 프리 옵티마이저
KAIST 연구실에서 나온 옵티마이저 논문 AMUSE를 소개하는 발표를 정리했다. 샤프니스와 엣지 오브 스태빌리티, 도미넌트·벌크 부분공간, 리버 밸리 손실 지형이라는 관점으로 Muon과 스케줄 프리 방식의 강점을 차례로 설명한다.
핵심 내용 읽기 →
Adam과 Muon의 차이를 만드는 것은 기하다: 딥러닝 옵티마이저 이론을 정리한 TTIC 연구 발표
TTIC 연구 발표에서 즈위안 리 교수가 Adam이 SGD보다 빠른 이유를 좌표축에 묶인 기하로 설명하고, 스펙트럴 노름을 쓰는 Muon과 적응형 매끄러움 개념까지 딥러닝 최적화 이론의 최신 지형을 정리했다.
핵심 내용 읽기 →
Muon 옵티마이저 완전 정리: Adam을 넘어서는 행렬 기반 학습법과 대규모 모델 확장·안정화 기법
10년간 딥러닝 학습을 지배한 Adam의 한계를 짚고, 가중치 행렬의 구조를 직접 활용해 업데이트를 직교화하는 새 옵티마이저 Muon의 원리와 대규모 모델에서의 연산 효율·QK-clip 안정화 기법까지 정리했다.
핵심 내용 읽기 →