Kimi K3 구조 분석: KDA 어텐션부터 Latent MoE, NoPE까지 정리

핵심 메시지

• Kimi K3는 총 2.8조 파라미터에 활성 파라미터가 1040억인 MoE 모델로, 전문가 896개 중 16개만 켜지고 층수는 93층, 컨텍스트는 100만 토큰이다.
• 핵심은 어텐션 비용을 줄이려는 압축 계열(리니어·리커런트)과 범위를 줄이는 슬라이딩 윈도 계열의 갈림길이고, Kimi 계열은 압축 쪽을 택했다.
• KDA(Kimi Delta Attention)는 Gated DeltaNet에 채널별로 따로 감쇄하는 층을 덧붙인 구조이며, 이를 세 개 쌓고 MLA를 하나 붙이는 3:1 배치를 쓴다.
• MoE는 스위치 트랜스포머 → DeepSeekMoE → Latent MoE 계보를 따라 전문가에 들어가는 신호 자체를 압축하는 방향으로 진화했다.
• 위치 인코딩은 RoPE에 YaRN을 덧대던 관행을 버리고 아예 쓰지 않는 NoPE를 택했는데, 이는 어텐션 구조가 이미 위치 정보를 담고 있다는 가정에 기댄 선택이다.

쉽게 이해하기

화제의 오픈 웨이트 모델 Kimi K3를 두고 두 명의 국내 LLM 전문가가 테크 리포트를 함께 뜯어보는 대담이다. 발표자는 이 영상이 Kimi K3만 다루는 자리가 아니라, 기존 트랜스포머가 여기까지 어떤 경로로 변형돼 왔는지를 되짚는 시간이라고 못 박는다. 그래서 모델 하나를 소개하는 리뷰라기보다, 최근 대형 모델 설계의 흐름을 한 번에 훑는 지도에 가깝다.

체급부터 눈에 띈다. 총 파라미터 2.8조에 실제로 켜지는 활성 파라미터가 1040억으로, 웬만한 덴스 모델 한 대 크기다. 전문가는 896개인데 그중 16개만 돌아가니 희소성(sparsity)이 2%도 되지 않고, 층수는 93층, 컨텍스트는 100만 토큰이다. 발표자들은 이 정도 규모를 오픈으로 공개한 것 자체가 학습 비용을 생각하면 고마운 일이라고 평했고, 추론 가격도 백만 토큰당 3달러 안팎으로 비교적 합리적이라고 봤다.

구조 설명의 절반은 어텐션에 할애된다. 기본 어텐션은 모든 토큰을 서로 비교하느라 연산이 제곱으로 늘어나므로, 컨텍스트를 늘리려면 반드시 줄여야 한다. 여기서 길은 둘로 갈린다. 하나는 중간 상태를 하나의 메모리로 압축해 새 토큰과만 비교하는 리니어·리커런트 방식이고(Qwen·Kimi 계열), 다른 하나는 먼 토큰은 아예 보지 않는 슬라이딩 윈도 방식이다(Mistral·Gemma 계열). 압축하면 정보가 충돌하고 희석되므로, DeltaNet과 게이트를 덧붙여 불필요한 기억을 지우는 보완이 계속 쌓여왔다.

Kimi K3의 KDA는 그 계보의 최신판이다. 문맥 경계에서 앞 내용을 통째로 감쇄시키던 Gated DeltaNet 위에, 채널마다 서로 다른 비율로 감쇄시키는 층을 하나 더 얹었다. 관점에 따라 살릴 정보가 달라지니 채널별로 다르게 판단하자는 발상이다. 이렇게 만든 KDA 블록 세 개마다 MLA(Multi-Head Latent Attention)를 하나 섞는데, 이는 '평소엔 가볍게, 중간중간 전역을 한 번 훑는' 최근의 하이브리드 흐름과 같다. 여기에 층마다 잔차를 똑같은 비중으로 더하지 않고 가중합으로 바꾸는 Attention Residual까지 붙었다.

MoE와 위치 인코딩도 같은 논리로 설명된다. MoE는 넷 중 하나를 쓰던 스위치 트랜스포머에서, 전문가 수를 수백 개로 늘리고 상시 작동하는 공유 전문가를 두는 DeepSeekMoE를 거쳐, 전문가에 들어가는 신호 차원 자체를 압축해 남은 예산으로 전문가 수를 늘리는 Latent MoE로 이어졌다. 위치 인코딩은 RoPE에 YaRN을 덧대 컨텍스트를 늘려온 관행 대신, 위치 인코딩을 아예 쓰지 않는 NoPE를 채택했다. 대담자들은 이 모든 변화를 관통하는 한 단어로 '압축'을 꼽는다.

주요 인사이트

• 설계 하나하나가 성능에 얼마나 기여했는지는 사실상 검증이 불가능하다. 2.8조 규모에서 KDA를 빼고 다시 학습해 비교하는 실험은 비용 때문에 아무도 하지 않기 때문이다. 그래서 프론티어 모델 개발은 통제된 실험이 아니라 직관을 믿고 밀어붙이는 작업에 가깝다는 지적이 나온다.
• 대담자들은 이런 기법들의 진짜 기여가 '성능 향상' 자체보다 '스케일을 키울 수 있게 만든 것'이라고 본다. 연산을 줄여 더 큰 모델을 학습 가능하게 만들었고, 그 규모가 성능을 끌어올렸다는 해석이다.
• 압축은 반드시 부작용을 낳고, 그 부작용을 메우려 또 다른 장치를 덧대는 일이 반복된다. 발표자들은 이를 두고 'LLM 개발은 기우기'라고 표현하며, 이제는 트랜스포머라기보다 RNN과의 하이브리드에 가깝다고까지 말한다.
• 중국 오픈 모델들은 각 시점의 최신 기법을 블록처럼 차곡차곡 붙여 만드는 경향이 있어, 모델 하나의 리포트만 제대로 읽어도 최근 몇 년의 구조 발전사를 통째로 파악할 수 있다. 구조를 공부하는 사람에게 특히 값진 이유다.
• 어텐션 계열이 다르면 그 위에 얹을 하네스도 달라질 수 있다는 지적이 흥미롭다. 압축형은 문맥이 계속 누적되므로 컴팩션 시점이 중요하고, 슬라이딩 윈도형은 문맥이 중간에 끊겨도 상대적으로 덜 다칠 수 있다.

자주 묻는 질문

관련 AI 소식