파이토치 학습 속도 높이는 법: 혼합 정밀도와 FSDP 다중 GPU 분산 학습을 최소 코드 수정으로 적용하기
파이토치 학습 코드를 거의 바꾸지 않고 혼합 정밀도와 다중 GPU 분산 학습을 적용해 비전 트랜스포머 학습 시간을 18분에서 2분까지 줄인 과정을 단계별로 정리하고, 사전학습 모델 미세조정이 왜 먼저인지도 함께 짚었다.
핵심 내용 읽기 →
AI TOPIC
분산 학습 최신 뉴스와 핵심 해설
분산 학습 관련 핵심 뉴스와 활용 인사이트 17편을 최신순으로 모았습니다.
Dion2 옵티마이저 공개 - 무온(Muon)의 직교화 비용을 줄여 대규모 학습을 확장하는 방법
마이크로소프트 리서치가 무온(Muon) 옵티마이저의 직교화 병목을 줄인 Dion2를 공개했다. 업데이트 행렬에서 노름이 큰 일부 행만 골라 직교화해 연산과 통신을 줄이면서도 학습 품질은 그대로 유지한다.
핵심 내용 읽기 →
파이토치 분산 학습 입문: DataParallel과 DistributedDataParallel 차이와 GIL 병목, CMU 딥러닝 실습
카네기멜런 딥러닝 수업 실습에서 파이토치의 두 가지 데이터 병렬 방식을 같은 코드로 비교했다. 한 줄이면 끝나는 DataParallel이 왜 느린지, 파이썬 GIL과 그래디언트 동기화 방식의 차이가 어디서 갈리는지 짚는다.
핵심 내용 읽기 →
옵티마이저와 분산 학습 정리: 모멘텀·Adam·데이터 병렬화가 신경망 훈련을 바꾸는 방식
AI 안전 교육 프로그램 ARENA의 신경망 학습 강의를 정리했다. SGD와 모멘텀, Adam 옵티마이저의 작동 원리부터 하이퍼파라미터 자동 탐색 도구 활용법, 그리고 데이터·파이프라인·텐서 병렬 분산 학습 세 방식의 차이와 한계까지 짚는다.
핵심 내용 읽기 →
LLM 병렬 학습 총정리: 데이터·ZeRO·파이프라인·텐서 병렬과 라마3, 딥시크 사례
대규모 언어모델 학습에 쓰이는 데이터 병렬과 ZeRO, 파이프라인·텐서·시퀀스 병렬을 통신 비용과 메모리 관점에서 비교하고, 라마 3와 딥시크 V3가 실제로 어떤 조합을 골랐는지까지 짚은 대학 강의 정리.
핵심 내용 읽기 →
강화학습 크로스 데이터센터 — 가중치 델타 전송으로 롤아웃을 전 세계 GPU에 분산하는 법
프런티어 규모 체크포인트는 500GB에 달해 리전 간 전송에만 수 분이 걸린다. 롤아웃이 실제로 보는 가중치는 스텝당 1%도 바뀌지 않는다는 관찰에서 출발해, 강화학습 후처리를 흩어진 GPU로 분산하는 설계를 정리했다.
핵심 내용 읽기 →
GPU 활용률 끌어올리는 스케줄링: 서울대 서지원 교수의 딥러닝 학습·LLM 추론 최적화 강연
서울대 AI 콜로퀴움에서 서지원 교수가 딥러닝 학습과 LLM 추론의 GPU 저활용 문제를 해부했다. 역전파 순서를 바꾸는 아웃오브오더 백프롭과, 토큰 지연시간 제약을 지키며 처리량을 최대화하는 추론 스케줄링을 소개한다.
핵심 내용 읽기 →
FSDP 분산 학습 입문, 파라미터 샤딩과 all-gather·reduce-scatter 그리고 Ray Train
모델이 GPU 한 장에 담기지 않을 때 쓰는 FSDP의 두 단계 분할과 all-gather·reduce-scatter가 만드는 통신 비용, FSDP2 실습 설정, 그리고 학습 로직과 분산 실행을 나누는 Ray Train의 역할을 정리했다.
핵심 내용 읽기 →
Ray와 KubeRay로 분산 학습 확장하기 — 캐피털원의 멀티 GPU 하이퍼파라미터 튜닝 사례
캐피털원 엔지니어들이 쿠버네티스 위에서 Ray 클러스터를 운영하며 겪은 데이터 로딩 병목과 자동·수동 샤딩 선택, 시행 한 건당 시간을 3분의 1로 줄인 과정을 Ray 서밋 발표 자막을 근거로 정리했습니다.
핵심 내용 읽기 →
PyTorch torch.compile CUDA 스트림 지원: 비동기 실행과 활성값 오프로딩으로 메모리 줄이기
메타 엔지니어가 발표한 torch.compile의 CUDA 스트림 지원 정리. 스트림 컨텍스트에서 그래프가 끊기던 문제를 Dynamo·AOT Autograd·Inductor 세 단계에서 어떻게 풀었는지와, 활성값 오프로딩의 실측 결과를 다뤘다.
핵심 내용 읽기 →
파이토치 사전 컴파일과 SPMD 타입: 분산 학습 병목과 잘못된 그래디언트를 줄이는 새 기능
파이토치 유럽 콘퍼런스 키노트를 정리했다. torch.compile의 사전 컴파일 지원과 컬렉티브 누락을 타입으로 잡아내는 SPMD 타입 등 대규모 분산 학습을 겨냥한 두 가지 개선안을 코드 관점에서 자세히 정리했다.
핵심 내용 읽기 →
MIT 6.S191 대규모 병렬 학습 강의 정리: 데이터·텐서·파이프라인 병렬과 샤딩, DeepSpeed·FSDP·Megatron 비교
MIT 딥러닝 입문 강의에서 Liquid AI 최고기술책임자가 GPU 수천 장으로 모델을 학습시키는 실제 방법을 설명했다. 학습에 필요한 메모리 계산, 활성값 체크포인팅과 샤딩, 다섯 가지 병렬화 축, 그리고 프레임워크 선택 기준을 정리한다.
핵심 내용 읽기 →
대형 모델 분산 학습 정리: 데이터·파이프라인·텐서 병렬과 FSDP, ZeRO가 필요한 이유
대규모 언어 모델 학습 인프라를 만드는 엔지니어가 버클리 강연에서 풀어놓은 분산 학습의 기본기를 정리했다. 데이터·파이프라인·텐서 병렬의 원리와 한계, 그리고 FSDP와 제로가 메모리 벽을 어떻게 우회하는지 살펴본다.
핵심 내용 읽기 →
파이토치 분산 학습 완전 정리: 데이터 병렬화, 그래디언트 누적, All-Reduce와 장애 복구
모델 학습이 너무 느릴 때 GPU 여러 대로 작업을 나누는 방법을 정리했습니다. 데이터 병렬화와 모델 병렬화의 차이, 그래디언트 누적, All-Reduce 통신이 빠른 이유, 체크포인트를 이용한 장애 복구와 실제 코드 수정 지점까지 다룹니다.
핵심 내용 읽기 →
분산 학습 3가지 전략 정리: 데이터·파이프라인·텐서 병렬이 대형 AI 모델을 학습시키는 법
GPU 한 장으로 6000년이 걸릴 학습을 90일로 줄인 비결은 병렬화다. 데이터 병렬·파이프라인 병렬·텐서 병렬의 작동 원리와 각각의 한계, 그리고 실제 대규모 학습에서 셋을 함께 쓰는 방식까지 정리했다.
핵심 내용 읽기 →
어텐션 잔차 연결 설명 — 트랜스포머 깊이를 낭비하지 않는 새 구조와 대규모 학습 인프라 설계
깊은 트랜스포머에서 층이 깊어질수록 기여도가 희석되는 문제를 어텐션 가중치로 푸는 '어텐션 잔차' 구조를 원리부터 대규모 학습 최적화까지 정리했다.
핵심 내용 읽기 →
RTX 3090 4장 개인 머신러닝 서버 조립기: 6000달러 부품 선택과 전력 문제 해결
중고 그래픽카드 4장과 워크스테이션 보드로 VRAM 96GB짜리 학습용 장비를 조립한 과정을 따라간다. 부품별 선택 이유와 전원·메모리에서 겪은 시행착오, 실제 전력 소비와 추론 성능까지 정리했다.
핵심 내용 읽기 →