하이브리드 어텐션과 게이트 델타넷으로 보는 2026년 롱컨텍스트 LLM 구조와 KV 캐시 절감 원리

핵심 메시지

• 2026년 롱컨텍스트 LLM들은 어텐션을 없앤 것이 아니라, 대부분의 레이어를 값싼 순환 믹서로 바꾸고 전체 어텐션은 소수 레이어에만 '선택적으로' 남겼다.
• 이 변화의 동기는 KV 캐시 비용이다. 추론형 모델의 긴 출력과 에이전트형 도구 호출이 늘면서, 컨텍스트 길이에 비례해 커지는 KV 캐시가 디코딩의 병목이 됐다.
• 소프트맥스를 걷어내면 어텐션 계산 순서를 바꿔 토큰 수 제곱이 아닌 선형 비용의 순환 상태로 만들 수 있지만, 고정 크기 상태는 토큰이 쌓이면 기억이 뭉개지는 '연상 회상 실패'를 겪는다.
• 델타 규칙(기존 값을 읽어 차이만 덮어쓰기), 망각을 위한 감쇠 게이트, GPU 병렬화라는 세 가지 장치가 더해져 값싼 레이어가 실제로 작동하게 됐다.
• 정확한 회상이 필요한 소수 레이어에만 전체 어텐션을 남기는 하이브리드 설계가 Qwen3-Next·Kimi Linear·Ling 2.5 등 최신 모델의 공통 골격이 됐다.

쉽게 이해하기

영상은 2026년 롱컨텍스트 모델들의 구조가 눈에 띄게 달라졌다는 관찰에서 출발한다. Qwen3-Next는 어텐션 3개 대신 값싼 순환 믹서를 넣고 네 번째마다 전체 어텐션을 두며, Kimi Linear도 같은 3:1 패턴을, Ling 2.5는 값싼 믹서 7개당 어텐션 1개라는 더 공격적인 비율을 쓴다. 핵심은 어텐션을 제거한 것이 아니라 '아껴 쓰는' 자원으로 다루기 시작했다는 점이다.

왜 이런 변화가 생겼는가. 첫째, 테스트 타임 스케일링으로 추론 모델이 한 문제에 수만~십만 토큰을 출력하면서 디코딩 비용이 지배적이 됐다. 둘째, 에이전트형 워크플로에서 긴 컨텍스트와 여러 번의 도구 호출이 같은 KV 캐시를 공유한다. 어텐션의 학습·프리필 비용은 컨텍스트 길이의 제곱이지만, 디코딩 시 KV 캐시는 길이에 선형으로 커진다. 문제는 그 상수가 매우 커서, 백만 토큰이면 토큰 하나를 생성할 때마다 기가바이트 단위를 읽어야 한다는 것이다.

값싼 레이어의 출발점은 간단한 수학적 재배치다. 소프트맥스를 커널 특징맵으로 바꾸면 곱셈이 결합법칙을 따라, 토큰×토큰 행렬을 만드는 대신 특징차원×특징차원 크기의 '상태 행렬'을 먼저 만들 수 있다. 이 상태는 시퀀스 길이에 따라 커지지 않으며, 인과적 설정에서는 매 토큰마다 값과 키의 외적을 더하는 깔끔한 선형 순환으로 정리된다.

그러나 순진한 선형 어텐션은 실전에서 무너진다. 고정 크기의 '화이트보드'에 매 토큰이 패치를 덧쓰기만 하면, 토큰이 수만~수십만에 이를 때 패치가 겹쳐 답이 회색빛 평균으로 흐려진다. 이를 막으려면 세 가지가 필요하다. 특정 키의 옛 연상을 지우는 델타 규칙, 시간이 지나며 정보를 잊게 하는 감쇠 게이트(Mamba 2), 그리고 이를 GPU에서 병렬로 학습시키는 청크 단위 기법이다.

델타 규칙은 '새로 쓰기 전에 이미 있는 것을 읽고 차이만 쓰는' 똑똑한 학생에 비유된다. 현재 키로 상태를 읽어 옛 값을 얻고, 새 값과의 차이(델타)를 학습된 강도 베타로 되쓴다. 이는 해당 키의 기억만 외과적으로 지우고 나머지는 건드리지 않으며, 수식으로 펼치면 키 방향 성분을 제거하는 사영으로 해석된다. 여기에 채널별 감쇠(KDA)까지 더하면 특징마다 다른 망각 속도를 가질 수 있어, 회상 벤치마크에서 게이트 델타넷이 98.4%로 소프트맥스(99%)에 근접한다.

주요 인사이트

• 설계 질문이 '어텐션이냐 순환이냐'에서 '레이어 스택의 어디에 전체 어텐션을 두는 것이 값어치가 있느냐'로 옮겨갔다. NVIDIA의 Jet-Nemotron은 이를 문자 그대로 탐색해, 중간의 특정 레이어만 전체 어텐션으로 남기고 상단 일부는 슬라이딩 윈도, 나머지는 선형 블록으로 바꾸는 것이 최적임을 보였다.
• 하이브리드는 처음부터 그렇게 설계할 때 잘 작동한다. MiniMax는 라이트닝 어텐션 기반 하이브리드를 대규모로 내놓았다가, M2에서는 다시 평범한 전체 어텐션으로 회귀했다. 사전학습 초기에 형성된 회상·유도 헤드가 다른 레이어와 분리되지 않아, 하이브리드를 사후에 이식하면 정보 흐름이 재구성되지 않는다는 것이다.
• 벤치마크만으로는 품질 저하를 놓치기 쉽다. 처리량과 표준 회상 점수는 좋아 보여도, 긴 에이전트 체인·멀티턴 도구 사용·강화학습 기반 추론 같은 실제 워크로드에서 조용히 나빠질 수 있다.
• 복잡도 등급 자체가 바뀐 것은 아니다. 하이브리드의 KV 캐시도 여전히 컨텍스트 길이에 선형으로 커진다. 다만 그 선형 비용을 '몇 개의 레이어만' 지불하게 만들어, 3:1 설계면 약 25%, 1:7 설계면 약 12%의 레이어만 KV에 기여한다. 공개 수치는 롱컨텍스트에서 KV 메모리 약 75% 절감으로 모인다.
• 채널별 감쇠는 뜻밖의 부수효과를 낳는다. 순환 자체가 데이터 의존적인 위치 정보를 실어 나르기 때문에, Kimi Linear의 무거운 어텐션 레이어는 위치 인코딩을 아예 빼는(NoPE) 선택을 하고도 128K 토큰 벤치에서 RoPE 변형을 앞섰다.

자주 묻는 질문

관련 AI 소식