Dion2 옵티마이저 공개 - 무온(Muon)의 직교화 비용을 줄여 대규모 학습을 확장하는 방법
마이크로소프트 리서치가 무온(Muon) 옵티마이저의 직교화 병목을 줄인 Dion2를 공개했다. 업데이트 행렬에서 노름이 큰 일부 행만 골라 직교화해 연산과 통신을 줄이면서도 학습 품질은 그대로 유지한다.
핵심 내용 읽기 →
AI TOPIC
LLM 학습 최신 뉴스와 핵심 해설
LLM 학습 관련 핵심 뉴스와 활용 인사이트 21편을 최신순으로 모았습니다.
MaxRL 강화학습 연구 해설: 최대우도 목적함수로 GRPO의 다양성 붕괴를 넘어서는 방법
정답 여부만 보상으로 주는 학습에서 기존 강화학습은 로그가 빠진 1차 근사식을 최적화한다. 성공한 롤아웃 개수로 나누는 한 줄 변경만으로 최대우도에 접근하는 MaxRL의 논리와 네 갈래 실험 결과, 그리고 그 한계를 정리했다.
핵심 내용 읽기 →
ARO 옵티마이저 해설: 회전 좌표계로 LLM 학습을 AdamW보다 1.3배 빠르게 만든 원리
10년째 AdamW가 지배해 온 LLM 학습에 마이크로소프트 리서치가 회전이라는 관점을 들고 나왔다. 기존 행렬 옵티마이저를 하나로 설명하면서 더 적은 데이터로 같은 손실에 도달하는 ARO를 정리했다.
핵심 내용 읽기 →
LLM 병렬 학습 총정리: 데이터·ZeRO·파이프라인·텐서 병렬과 라마3, 딥시크 사례
대규모 언어모델 학습에 쓰이는 데이터 병렬과 ZeRO, 파이프라인·텐서·시퀀스 병렬을 통신 비용과 메모리 관점에서 비교하고, 라마 3와 딥시크 V3가 실제로 어떤 조합을 골랐는지까지 짚은 대학 강의 정리.
핵심 내용 읽기 →
LLM 사전학습 실전 가이드: 허깅페이스가 공개한 스몰 트레이닝 플레이북 강연 정리
허깅페이스 연구자가 GPU MODE 강연에서 LLM을 처음부터 학습시키는 전 과정을 풀었다. 모델을 왜·무엇을·어떻게 학습할지 정하는 순서, 절반이 실험에 들어가는 컴퓨트 예산, 그리고 학습 도중 터진 버그 이야기까지 담았다.
핵심 내용 읽기 →
직접 온폴리시 증류: 작은 모델의 강화학습 변화를 큰 모델 학습 신호로 쓰는 방법과 비용 절감 효과
허깅페이스 연구팀이 약한 모델에서 강한 모델로의 일반화를 다룬 논문을 토론했다. 작은 모델의 강화학습 전후 정책 변화를 보상 신호로 삼아 더 큰 모델을 학습시키는 방식의 비용 절감 효과와 적용 조건, 남은 한계를 정리했다.
핵심 내용 읽기 →
GRPO 실습 정리: 딥시크 R1 방식의 강화학습을 무료 코랩에서 작은 모델로 재현하기
딥시크 R1이 쓴 GRPO를 무료 구글 코랩에서 파라미터 5억 개짜리 작은 모델로 직접 돌려 본 실습 해설이다. 형식·정답 보상 설계와 참조 모델의 역할, 그리고 작은 모델에서 드러난 한계까지 정리했다.
핵심 내용 읽기 →
LLM 포스트트레이닝 3단계 정리: 지시 튜닝, 선호 튜닝, 강화 파인튜닝의 역할과 한계
네이선 램버트가 정리한 언어모델 포스트트레이닝의 현재. 성능 향상의 대부분은 여전히 지시 튜닝에서 나오고, 그 위에 선호 튜닝과 검증 가능한 보상을 쓰는 강화 파인튜닝이 얹히는 3단계 구조를 실험 수치와 함께 설명한다.
핵심 내용 읽기 →
GRPO 완전 정리: 딥시크 추론 모델을 떠받친 강화학습 알고리즘과 PPO의 차이
딥시크 R1의 핵심 강화학습 알고리즘 GRPO를 정책 경사법부터 차근차근 짚었다. 별도의 가치 모델을 버리고 응답 여러 개의 평균 보상을 기준선으로 삼는 단순화가 어떻게 비용 절감으로 이어졌는지 정리했다.
핵심 내용 읽기 →
NVFP4 4비트 LLM 사전학습: 무편향 양자화와 Quartet 2가 오차를 줄인 방법
16비트에서 4비트로 내려가면 행렬 곱 처리량은 네 배가 되지만 양자화 오차가 학습을 망친다. GPU MODE 강연에서 연구진이 무작위 회전으로 무편향 그래디언트를 얻어낸 NVFP4 학습 기법과 커널 구현을 공개했다.
핵심 내용 읽기 →
NVFP4 강화학습 레시피 정리: 4비트 양자화 안정성 확보와 그래디언트 스파이크 해결법
사전학습용 4비트 양자화 레시피는 강화학습에서 그대로 통하지 않는다. 토큰 단위 스케일링과 블록별 적응형 인코딩, 역전파 처리 방식 선택으로 그래디언트 붕괴를 막아 낸 실전 사례를 단계별로 정리했다.
핵심 내용 읽기 →
강화학습 르네상스: RLHF에서 검증 가능한 보상(RLVR)으로, 추론 모델 학습이 바뀐 이유
추론 모델 붐 뒤에는 어떤 흐름이 있었나. RLHF가 남긴 인프라와 검증 가능한 보상 학습의 부상, PPO에서 GRPO로 바꿔 얻은 개선, 그리고 사후학습 연산 비중이 사전학습과 대등해질 가능성까지 정리한 강연이다.
핵심 내용 읽기 →
PPO 알고리즘 원리: LLM 정렬과 추론 모델을 만드는 강화학습을 직관으로 이해하기
PPO는 LLM을 사람의 선호에 맞추고 평범한 모델을 추론 모델로 바꾸는 강화학습 알고리즘이다. 가치 함수와 어드밴티지, 편향-분산 트레이드오프, 클리핑까지 원논문의 빽빽한 수식을 직관으로 풀어낸 해설을 정리했다.
핵심 내용 읽기 →
Muon 옵티마이저 원리 정리: 모멘텀 직교화, SVD 없는 다항식 반복, QK 클립까지
오랫동안 기본값이던 AdamW에 도전하는 Muon 옵티마이저의 작동 원리를 정리했다. 모멘텀 행렬을 직교화해 드문 방향을 살리는 아이디어와, SVD 없이 이를 근사하는 다항식 반복, 대형 모델 학습 안정화 기법까지 다룬다.
핵심 내용 읽기 →
대형 모델 분산 학습 정리: 데이터·파이프라인·텐서 병렬과 FSDP, ZeRO가 필요한 이유
대규모 언어 모델 학습 인프라를 만드는 엔지니어가 버클리 강연에서 풀어놓은 분산 학습의 기본기를 정리했다. 데이터·파이프라인·텐서 병렬의 원리와 한계, 그리고 FSDP와 제로가 메모리 벽을 어떻게 우회하는지 살펴본다.
핵심 내용 읽기 →
강화학습으로 추론 모델 만들기 - 스탠퍼드 CS229 마지막 강의의 정책 경사와 PPO 정리
정책 경사의 직관과 기준값으로 분산을 줄이는 방법, PPO가 옛 표본을 재사용하며 확률 비율을 잘라내는 이유, 그리고 정답 일치 여부만으로 보상을 주어 긴 사고 과정을 학습시키는 방식까지 정리했다.
핵심 내용 읽기 →
자기 증류 코드 생성 논문 리뷰: 높은 온도 샘플링과 낮은 온도 디코딩을 조합하는 방법과 한계
허깅페이스 연구팀이 애플의 자기 증류 논문을 함께 읽었다. 높은 온도로 스스로 뽑은 출력을 정답 검증 없이 학습시키자 코드 생성 성능이 올랐다는 결과를 두고 왜 통하는지와 어떤 실험이 빠졌는지를 토론했다.
핵심 내용 읽기 →
GRPO 쉽게 이해하기: PPO와 무엇이 다른가, 딥시크 R1의 강화학습 알고리즘 해설
딥시크 R1의 핵심 강화학습 알고리즘 GRPO를 소개한 DeepSeekMath 논문을 정리했다. PPO에서 가치 모델을 걷어내고 여러 응답을 묶어 상대 비교하는 방식이 어떤 이득을 주는지, 수학 말뭉치는 어떻게 만들었는지 살펴본다.
핵심 내용 읽기 →
경사하강법 원리와 손실 지형 시각화 — 신경망이 지역 최솟값에 갇히지 않는 이유를 그림으로 이해하기
초창기 연구자들은 신경망이 지역 최솟값에 갇힐 것이라며 경사하강법을 외면했다. 라마 모델의 손실 지형을 직접 그려 보며 왜 그 예측이 빗나갔는지, 고차원 공간에서 학습이 실제로 어떻게 일어나는지 살펴본다.
핵심 내용 읽기 →
FP4 4비트 LLM 학습 논문 해설: BF16급 정확도로 학습 비용 낮추기
논문 'Optimizing LLM Training Using FP4 Quantization'은 가중치·활성값을 4비트로 양자화해 130억 파라미터 라마를 BF16과 거의 같은 곡선으로 학습한다. 이상치 클램핑·미분가능 그래디언트 추정 등 핵심 기법을 AI Coffee Break가 해설한다.
핵심 내용 읽기 →
비동기 온폴리시 증류(AsyncOPD) 해설: GPU 놀리지 않고 학습 속도 높이는 법
허깅페이스 저널클럽이 비동기 온폴리시 증류 논문을 뜯어봤다. GPU 유휴 시간을 없애 처리량을 높이면서도 성능을 지키는 방법, 저장해둔 후보 토큰이 어긋나는 문제와 이를 표본 추출로 우회하는 방식, 그리고 그 대가를 함께 정리했다.
핵심 내용 읽기 →