GPU 구조와 플래시 어텐션 원리: 산술 강도·타일링·커널 퓨전으로 LLM 학습 속도를 끌어올리는 법
대학 LLM 강의가 GPU 내부 구조부터 차근히 짚었다. 연산 성능은 폭증했지만 메모리 대역폭이 따라오지 못했고, 그 격차를 메우려 나온 다섯 가지 최적화 기법이 한데 모여 플래시 어텐션이 됐다는 설명이다.
핵심 내용 읽기 →
AI TOPIC
플래시 어텐션 최신 뉴스와 핵심 해설
플래시 어텐션 관련 핵심 뉴스와 활용 인사이트 9편을 최신순으로 모았습니다.
트랜스포머 구조 정리: 토크나이저·위치 인코딩·어텐션까지 CMU 딥러닝 강의 요약
카네기멜런대 딥러닝 강의가 RNN의 정보 병목과 병렬화 한계에서 출발해 토크나이저 선택, 사인·코사인 위치 인코딩, 멀티헤드 어텐션, 플래시 어텐션과 KV 캐시까지 트랜스포머 설계의 이유를 차례로 풀어낸다.
핵심 내용 읽기 →
sLLM 서빙 최적화 정리, 연속 배치와 플래시 어텐션 페이지드 어텐션 그리고 vLLM 실습
작은 언어모델을 직접 서빙할 때 속도를 좌우하는 배치 전략과 어텐션 최적화, KV 캐시 관리 기법을 스터디 발표 내용과 실측 결과로 정리했다. vLLM으로 돌린 비교 실험과 로컬 모델의 도구 호출 한계까지 담았다.
핵심 내용 읽기 →
Ollama 추론 속도 2배 올리는 환경 변수 4가지: 병렬 처리·플래시 어텐션·KV 캐시 양자화·모델 유지 설정법
올라마를 기본 설정 그대로 쓰면 손해다. 병렬 처리, 플래시 어텐션, KV 캐시 양자화, 모델 메모리 유지 시간까지 환경 변수 네 개를 상황에 맞게 조정해 로컬 LLM 추론 속도를 끌어올리는 방법과 각각의 주의점을 정리했다.
핵심 내용 읽기 →
플래시 어텐션 원리 쉽게 이해하기: GPU 메모리 계층과 온라인 소프트맥스로 어텐션 가속
트랜스포머의 어텐션을 수 배 빠르게 만드는 플래시 어텐션의 원리를 정리했다. 어텐션의 O(N제곱) 병목, GPU 메모리 계층, 온라인 소프트맥스, 그리고 대역폭 한계를 이용한 커널 융합을 쉽게 설명한다.
핵심 내용 읽기 →
플래시 어텐션 원리부터 트라이톤 GPU 커널 구현까지: 어텐션 메모리 최적화 완전 정리
어텐션 연산의 진짜 병목은 계산량이 아니라 느린 GPU 메모리 접근이다. 이 강의는 플래시 어텐션을 논문 없이 처음부터 유도하고, 온라인 소프트맥스와 블록 연산으로 트라이톤 GPU 커널을 순전파와 역전파까지 구현하는 과정을 설명한다.
핵심 내용 읽기 →
트랜스포머 어텐션 원리와 한계: RNN과 비교로 쉽게 이해하기
트랜스포머가 문장 속 모든 단어 관계를 한 번에 계산하는 어텐션 방식으로 RNN을 넘어선 과정과, 이차 연산량·긴 문맥·추론 약점 같은 남은 한계를 쉽게 풀어 설명합니다.
핵심 내용 읽기 →
플래시 어텐션(FlashAttention) 원리: 타일링과 온라인 소프트맥스로 어텐션 가속
트랜스포머의 셀프 어텐션이 왜 느리고 메모리를 많이 쓰는지, 그리고 타일링과 온라인 소프트맥스를 결합한 플래시 어텐션이 정확도를 그대로 지키면서 GPU 메모리 접근을 줄여 어떻게 속도를 끌어올리는지 쉽게 정리했다.
핵심 내용 읽기 →
GPT-2 재현 따라하기 — 카파시의 PyTorch·nanoGPT 학습 전 과정
안드레이 카파시가 GPT-2(124M)를 PyTorch로 바닥부터 재현한다. 모델 구조와 GPT-3 하이퍼파라미터, torch.compile·플래시 어텐션 최적화, 약 1시간·10달러 학습까지 다룬다.
핵심 내용 읽기 →