LatentLLM 모델 압축: 재학습 없이 KV 캐시를 줄이는 다중 헤드 잠재 어텐션 변환

핵심 메시지

• 학습에 드는 연산량과 데이터센터 전력 수요가 빠르게 늘면서, 모델을 작게 만드는 압축 기술이 친환경 AI의 핵심 수단으로 떠올랐다.
• LatentLLM은 추가 학습 없이 기존 모델의 가중치를 분해해 저차원 잠재 어텐션 구조로 바꾸는 방법이다.
• 활성값을 고려한 분해에서 전처리 행렬로 공분산의 제곱근을 쓰는 것이 수학적으로 최적이며, 이를 빼면 정확도가 사실상 무너졌다.
• 분해 결과를 실제 가중치로 옮길 때 생기는 자유도를 잘 고르면 파라미터 수가 원본보다 늘어나는 사태를 막을 수 있다.
• 가중치를 하나씩 따로 줄이는 대신 어텐션 지도의 오차를 기준으로 여러 가중치를 함께 분해해 전역 오차를 줄였다.

쉽게 이해하기

발표자는 미쓰비시전기 연구소의 도시아키 고이케아키노로, AAAI 2026에서 발표한 논문 LatentLLM을 소개한다. 그는 먼저 배경으로 학습에 필요한 연산량이 해마다 급격히 늘고 모델 크기도 기하급수적으로 커져 왔다는 점, 그리고 AI 데이터센터가 세계 곳곳의 전력 수요와 가격을 밀어 올리고 있다는 점을 짚는다. 이런 흐름에서 데이터 효율, 학습 효율, 모델 효율을 높이는 여러 접근 중 이 연구가 택한 것은 가중치 분해다.

목표는 딥시크 V3가 도입한 다중 헤드 잠재 어텐션처럼 질의·키·값을 저차원으로 사영하는 구조다. 이 구조는 연산량과 KV 캐시를 크게 줄여 주지만, 이미 학습이 끝난 모델을 그런 형태로 바꾸는 방법이 문제였다. LatentLLM은 재학습 없이 이 변환을 수행하기 위해 전처리 행렬, 사상 자유도, 결합 분해라는 세 가지 요소를 파고든다.

첫째는 전처리 행렬이다. 단순 특이값 분해는 원본 가중치와의 오차만 줄이지만, 실제로 중요한 것은 입력 활성값을 곱했을 때의 오차다. 기존 연구들은 이 보정을 위해 L1 노름이나 헤시안 등 서로 다른 기준을 써 왔는데, 발표자는 계산을 정리하면 공분산의 제곱근이 최적이라는 결론이 나온다고 설명한다. 실험에서 이 항을 뺀 방식은 일부 시각 언어 과제에서 정확도가 거의 0에 가깝게 무너졌다.

둘째는 분해 결과를 두 개의 저차원 사영 행렬로 옮기는 단계에 남는 자유도다. 가역 행렬 하나를 끼워 넣고 그 역행렬로 상쇄하면 성능은 그대로이기 때문에 대개 무심코 항등 행렬을 쓰지만, 발표자는 이 선택을 잘 하면 한쪽 행렬을 블록 항등 형태로 만들어 파라미터 수를 줄일 수 있다고 말한다. 이 처리가 없으면 낮은 압축률에서 오히려 원본보다 파라미터가 늘어나는 구간이 생긴다.

셋째는 결합 분해다. 질의와 키를 함께 압축할 때는 두 벡터의 내적으로 만들어지는 어텐션 지도의 오차를 최소화하도록 문제를 다시 세우는데, 이는 고차 특이값 분해 문제가 되어 3차 터커 분해로 풀 수 있다. 비선형이 끼어 있는 MLP 구간에서는 중간 변수를 도입해 손실을 분리한 뒤 번갈아 최적화하는 방식을 썼다. 실험에서는 70억 파라미터급 모델을 70퍼센트 압축했을 때 처리량이 약 두 배로 늘었고, 50퍼센트 압축에서 KV 캐시가 70퍼센트가량 줄었으며, 언어 및 시각 언어 벤치마크에서 기존 방법들보다 좋은 점수를 보고했다.

주요 인사이트

• 이 연구의 실용적 의미는 정확도보다 배포 비용 쪽에 있다. 같은 모델을 그대로 두고도 KV 캐시를 크게 줄일 수 있다면, 긴 문맥을 다루는 서비스의 메모리 병목이 곧바로 완화된다.
• 재학습이 필요 없다는 점은 원본 학습 데이터에 접근할 수 없는 조직에게 특히 중요하다. 공개 가중치만 있으면 적용할 수 있는 압축 경로가 열리기 때문이다.
• 성능에 영향이 없어 아무렇게나 정해도 된다고 여겨지던 자유도에서 실질적인 메모리 이득을 뽑아냈다는 점은, 기존 방법들이 남겨 둔 여백이 아직 있다는 신호다.
• 가중치를 하나씩 최적으로 줄이는 것이 전체로도 최적은 아니라는 지적은 압축뿐 아니라 가지치기와 양자화 설계에도 그대로 적용되는 관점이다.
• 전처리 항 하나를 빼자 시각 언어 과제 정확도가 사실상 사라졌다는 결과는, 압축 기법 비교에서 세부 설정이 결론을 뒤집을 수 있음을 보여 준다.

자주 묻는 질문

관련 AI 소식