스탠퍼드 CS25 트랜스포머 입문 정리 — 카파시가 짚은 어텐션의 기원과 nanoGPT 구현
안드레이 카파시가 스탠퍼드 CS25 강의에서 트랜스포머의 역사와 내부 구조를 정리했다. 어텐션이 번역 연습에서 착안된 과정, 메시지 패싱으로 보는 해석, nanoGPT 구현, 그리고 이 구조가 5년째 살아남은 이유를 짚는다.
핵심 내용 읽기 →
AI TOPIC
nanoGPT 최신 뉴스와 핵심 해설
nanoGPT 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
GPT-2 재현 따라하기 — 카파시의 PyTorch·nanoGPT 학습 전 과정
안드레이 카파시가 GPT-2(124M)를 PyTorch로 바닥부터 재현한다. 모델 구조와 GPT-3 하이퍼파라미터, torch.compile·플래시 어텐션 최적화, 약 1시간·10달러 학습까지 다룬다.
핵심 내용 읽기 →