딥시크 V4 압축 어텐션 원리: KV 캐시 메모리 98% 절감 방식 해설

핵심 메시지

• 딥시크 V4의 핵심은 성능이 아니라 긴 문맥에서의 메모리·연산 효율이며, 이전 V3.2 대비 추론 비용과 메모리를 크게 낮췄다.
• 기존 어텐션은 시퀀스 길이에 비례해 KV 캐시 메모리가 커지는데, MQA처럼 헤드 수를 줄이는 방식은 메모리는 줄지만 표현력이 떨어진다.
• 딥시크는 '헤드 수'가 아니라 '시퀀스 길이' 방향으로 KV 캐시를 압축하는 발상 전환을 택했다.
• 여러 토큰의 KV 정보를 데이터 의존적 가중치로 묶어 압축하는 토큰 레벨 압축기가 CSA(압축 희소 어텐션)의 핵심이다.
• 국소 디테일을 보존하는 CSA와 광역 문맥을 요약하는 HCA를 층마다 번갈아 배치해 효율과 표현력을 동시에 확보한다.

쉽게 이해하기

트랜스포머의 어텐션은 각 토큰을 문맥과 연결해 풍부한 표현을 만들지만, 추론 시 이전 토큰들의 키·값 벡터를 모두 캐시에 저장해야 한다. 이 KV 캐시 메모리는 헤드 수, 층수, 정밀도, 그리고 시퀀스 길이에 비례해 커지기 때문에, 문맥이 수백만 토큰까지 늘어나면 메모리가 감당하기 어려운 수준이 된다. 딥시크 V4가 풀려는 문제가 바로 이 지점이다.

메모리를 줄이는 손쉬운 방법은 키·값의 헤드 수를 1로 줄여 모든 어텐션 헤드가 하나의 키·값을 공유하게 하는 MQA다. 영상의 예시에서 MQA는 토큰당 메모리를 4MB에서 31KB로, 약 128배까지 줄인다. 그러나 모든 헤드가 같은 키·값을 쓰면 토큰 간의 미묘한 관계를 담아내는 능력이 떨어져 성능이 눈에 띄게 나빠진다. GQA나 MLA 같은 후속 기법들도 결국 '헤드 수'를 손보는 접근에 머물렀다.

딥시크의 새 어텐션은 초점을 헤드 수에서 시퀀스 길이로 옮긴다. 먼저 WKV 행렬로 각 토큰의 은닉 상태를 512차원의 키·값 항목으로 압축하고, 네 개씩 묶어 하나로 합쳐 메모리를 4분의 1로 줄인다. 이때 단순 평균 대신, 각 토큰의 중요도를 소프트맥스로 계산한 가중치로 합치고, 이를 다시 512개 차원마다 개별 가중치로 일반화해 중요한 정보를 더 세밀하게 보존한다.

묶음 사이의 인위적인 경계 문제를 완화하기 위해, 서로 겹치는 그룹으로 압축해 인접 그룹의 문맥까지 반영하는 '토큰 레벨 압축기'를 도입한다. 여기에 쿼리와 출력 행렬을 저랭크로 분해해 파라미터를 각각 원본의 15.8%, 14.3% 수준으로 줄이고, 라이트닝 인덱서로 관련성이 높은 항목만 골라내는 딥시크 희소 어텐션(DSA)을 결합한다. 이 전체가 압축 희소 어텐션(CSA)이다.

딥시크 V4는 CSA와 함께, 128개 토큰을 하나의 키·값으로 강하게 압축하는 HCA도 사용한다. 아키텍처를 보면 처음 두 층은 HCA로 시퀀스 전체의 값싼 광역 요약을 만들고, 중간 층들은 HCA와 CSA를 번갈아 쓰며 광역 요약과 국소적 정밀 상호작용을 오간다. 마지막 층은 전체 어텐션으로 세부를 복원해 정확한 출력을 낸다.

주요 인사이트

• 메모리 병목의 본질은 시퀀스 길이에 비례하는 KV 캐시이므로, 헤드가 아니라 시퀀스 축을 압축하면 문맥을 늘리면서도 비용 증가를 억제할 수 있다.
• 단순 평균 압축은 중요한 토큰의 정보를 희석시키므로, 데이터 의존적·차원별 가중치로 '무엇을 남길지'를 학습하게 하는 것이 표현력 유지의 관건이다.
• 겹치는 그룹으로 압축하면 비겹침 압축이 만드는 경계의 급격한 정보 단절을 부드럽게 이어줄 수 있다.
• 저랭크 분해(쿼리·출력 투영)는 압축으로 커진 키·값 차원이 유발하는 파라미터·연산 부담을 다시 낮추는 실용적 장치다.
• 국소 디테일(CSA)과 광역 요약(HCA)을 층별로 교대 배치하는 설계가, 전 층에서 이차 비용을 치르지 않고도 여러 추상화 수준의 정보를 흘려보내는 핵심이다.

자주 묻는 질문

관련 AI 소식