딥시크 V4 논문 정리: 희소 어텐션 세 갈래와 롱컨텍스트 연산 27%·메모리 10% 감축
딥시크가 R1 이후 1년 4개월 만에 내놓은 V4는 파라미터를 1.6조로 키우면서도 롱컨텍스트 연산량을 이전 세대의 27%, 메모리를 10% 수준으로 낮췄습니다. 그 중심에 희소 어텐션이 있습니다.
핵심 내용 읽기 →
AI TOPIC
희소어텐션 최신 뉴스와 핵심 해설
희소어텐션 관련 핵심 뉴스와 활용 인사이트 5편을 최신순으로 모았습니다.
롱캣 2.0 분석 — 중국산 ASIC으로 훈련한 1.6조 파라미터 오픈웨이트 모델의 구조
메이퇀 산하 롱캣이 공개한 1.6조 파라미터 오픈웨이트 모델 롱캣 2.0을 뜯어봅니다. 엔비디아 없이 중국산 AI 반도체로 훈련한 배경과 하드웨어 친화적 희소 어텐션, n그램 임베딩 설계, 코딩 벤치마크 성적을 정리했습니다.
핵심 내용 읽기 →
LLM 추론 최적화 연구 총정리: 희소 어텐션, 가속기 데이터 이동, 프리필·디코드 분리, 결정론적 추론
마이크로소프트 리서치 인도 학술 서밋의 시스템 세션 발표 다섯 건을 정리했다. 롱컨텍스트 어텐션 근사부터 가속기 데이터 이동 비용, ML 파이프라인의 조용한 오류, 프리필·디코드 분리 운영, 재생에너지 데이터센터까지 다룬다.
핵심 내용 읽기 →
딥시크 희소 어텐션 DSA 원리: 라이트닝 인덱서와 상위 2048 토큰 선택 구조 해설
딥시크 희소 어텐션이 값싼 라이트닝 인덱서로 중요한 토큰을 먼저 추린 뒤 선택된 상위 2048개에만 어텐션을 돌려 긴 문맥 추론 비용을 줄이는 구조를, KV 캐시 병목부터 학습 방식과 한계까지 단계별로 정리했다.
핵심 내용 읽기 →
딥시크 V4가 100만 토큰 문맥을 실용화한 원리: 압축 희소 어텐션과 KV 캐시 절감
딥시크 V4가 압축 희소 어텐션(CSA)과 고압축 어텐션(HCA), 뮤온 옵티마이저와 FP4 양자화 인식 학습, 온폴리시 증류(OPD)를 어떻게 결합해 100만 토큰 문맥의 연산과 메모리 비용을 실용적 수준으로 낮췄는지 정리했습니다.
핵심 내용 읽기 →