AI TOPIC

MLA 최신 뉴스와 핵심 해설

MLA 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.

Tales Of Tensors2026. 8. 5.

딥시크 MLA 다중 헤드 잠재 어텐션 원리: KV 캐시 90% 줄이는 압축 방식

긴 문맥이 비싸고 느린 진짜 이유는 KV 캐시다. 딥시크가 채택한 다중 헤드 잠재 어텐션(MLA)이 키·값을 잠재 벡터로 압축해 캐시를 90% 넘게 줄이는 원리를 정리했다.

DataMListic2026. 7. 13.

언어모델의 메모리를 잡아먹는 KV 캐시를 MLA가 어떻게 압축하면서도 헤드별 다양성을 지키는지, MQA·GQA와 비교해 핵심 원리를 쉽게 풀어냅니다.