라마(LLaMA) 구조 해설: KV 캐시, 회전 위치 임베딩, 그룹 쿼리 어텐션 정리
우마르 자밀의 라마 해설 영상을 정리했다. 원조 트랜스포머와의 구조 차이부터 RMS 정규화, 회전 위치 임베딩, KV 캐시, 다중 쿼리에서 그룹 쿼리 어텐션으로 넘어간 이유, SwiGLU 활성 함수까지 다룬다.
핵심 내용 읽기 →
AI TOPIC
그룹쿼리어텐션 최신 뉴스와 핵심 해설
그룹쿼리어텐션 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
멀티쿼리·그룹쿼리 어텐션(MQA·GQA): LLM 추론 속도를 높이는 KV 캐시 절약법
KV 캐시가 만드는 메모리·대역폭 병목을 MQA와 GQA가 어떻게 푸는지, 표준 멀티헤드 어텐션과의 차이와 캐시 절감 수치, 그리고 모델 구현·전환 방법까지 일반 독자의 눈높이에서 쉽게 설명합니다.
핵심 내용 읽기 →