라마(LLaMA) 구조 해설: KV 캐시, 회전 위치 임베딩, 그룹 쿼리 어텐션 정리
우마르 자밀의 라마 해설 영상을 정리했다. 원조 트랜스포머와의 구조 차이부터 RMS 정규화, 회전 위치 임베딩, KV 캐시, 다중 쿼리에서 그룹 쿼리 어텐션으로 넘어간 이유, SwiGLU 활성 함수까지 다룬다.
핵심 내용 읽기 →
AI TOPIC
LLM구조 최신 뉴스와 핵심 해설
LLM구조 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
Kimi K3 구조 분석: KDA 어텐션부터 Latent MoE, NoPE까지 정리
2.8조 파라미터에 활성 파라미터 1040억, 전문가 896개 중 16개만 켜는 오픈 모델 Kimi K3의 내부 구조를 어텐션과 MoE, 위치 인코딩 세 축으로 뜯어본 국내 전문가 대담을 정리했다.
핵심 내용 읽기 →
딥시크 V4 희소 어텐션 구조 해설: 100만 토큰 긴 문맥을 저렴하게 처리하는 원리
딥시크 V4는 토큰을 블록으로 압축하고 필요한 부분만 골라 계산하는 방식으로 100만 토큰 문맥을 감당한다. 압축 희소 어텐션과 슬라이딩 윈도, 고압축 어텐션이 층마다 어떻게 맞물리는지 쉽게 정리했다.
핵심 내용 읽기 →