스탠퍼드 CS25 트랜스포머 입문 정리 — 카파시가 짚은 어텐션의 기원과 nanoGPT 구현
안드레이 카파시가 스탠퍼드 CS25 강의에서 트랜스포머의 역사와 내부 구조를 정리했다. 어텐션이 번역 연습에서 착안된 과정, 메시지 패싱으로 보는 해석, nanoGPT 구현, 그리고 이 구조가 5년째 살아남은 이유를 짚는다.
핵심 내용 읽기 →
AI TOPIC
스탠퍼드 CS25 최신 뉴스와 핵심 해설
스탠퍼드 CS25 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
LLM 해석가능성 연구: 앤스로픽이 공개한 대규모 언어 모델의 내부 회로, 병렬 계산과 계획 능력
앤스로픽 해석가능성 팀의 스탠퍼드 CS25 강연 정리. 희소 오토인코더로 찾아낸 특징과 인과 그래프를 통해, 대규모 언어 모델이 추상 개념을 사용하고 여러 계산을 병렬로 굴리며 여러 단어 앞을 내다보고 계획한다는 증거를 살펴본다.
핵심 내용 읽기 →