AI VIDEO BRIEFING
Kimi K3 분석: 2.8조 파라미터 오픈웨이트 모델이 KDA 어텐션으로 프런티어를 따라잡은 방법
문샷AI가 공개한 Kimi K3는 파라미터 2.8조 규모의 오픈웨이트 멀티모달 모델이다. 새 어텐션 기법 KDA와 잠재 MoE로 비용을 낮추며 폐쇄형 프런티어 모델과의 격차를 좁힌 과정과, 개발사가 스스로 밝힌 약점까지 정리했다.
핵심 메시지
- 오픈웨이트 모델이 폐쇄형보다 3~6개월 뒤처져 있다는 통념은 Kimi K3 공개로 사실상 무너졌다.
- Kimi K3는 파라미터 2.8조 규모로, 직전 최대 오픈소스 모델보다 약 75% 크다.
- 핵심 기술은 KDA(Kimi Delta Attention)로, 선형 어텐션의 고질적 한계를 채널별 망각률로 보완했다.
- KDA 3개 층에 완전 어텐션 1개 층을 섞는 하이브리드 구조로 KV 캐시를 최대 75% 줄였다.
- 개발사는 모델의 약점(사고 기록 의존, 의도 추정, 사용자 경험 격차)을 스스로 공개했다.
쉽게 이해하기
불과 몇 달 전만 해도 업계에서는 오픈웨이트 모델이 폐쇄형 모델보다 3~6개월 뒤처져 있다는 추정이 상식처럼 통했다. 문샷AI가 공개한 Kimi K3는 그 전제를 정면으로 무너뜨렸다. 멀티모달 성능을 갖춘 최상위권 모델을 가중치까지 공개한 채로 내놓았기 때문이다.
규모부터 이례적이다. Kimi K3의 파라미터는 2.8조 개로, 직전까지 가장 컸던 오픈소스 모델보다 약 75% 크다. 세계 최상위권 모델 중 하나가 가중치가 공개된 형태로 존재하게 됐다는 점 자체가 이 분야의 판도를 바꾼 사건이다.
성능 방향은 뚜렷하다. 코딩 에이전트와 장기 과제 수행에 초점이 맞춰져 있고, 이전 세대 대비 토큰 효율이 크게 올랐다. 특히 눈길을 끈 시연은 모델이 스스로 하드웨어 칩을 설계한 사례다. 48시간의 자율 실행 동안 오픈소스 도구만으로 칩을 설계·최적화·검증했고, 4제곱밀리미터 면적 안에 표준 셀 146만 개와 SRAM을 배치해 시뮬레이션에서 초당 8,700토큰의 디코딩 처리량을 달성했다.
기술적 핵심은 새 어텐션 기법이다. 일반적인 소프트맥스 어텐션은 모든 토큰이 이전 토큰 전부를 직접 참조하기 때문에 표현력은 뛰어나지만 비용이 문맥 길이의 제곱으로 커진다. 코드 저장소 전체나 반복적인 도구 호출을 처리하는 에이전트에서는 이 비용이 곧 병목이 된다. Kimi K3는 문맥을 고정 크기 상태로 압축하는 선형 어텐션 계열을 택했다.
다만 선형 어텐션은 오랫동안 실용성이 떨어진다는 평가를 받아왔다. 문맥 전체를 유한한 상태에 압축하다 보니 서로 다른 정보가 간섭하고, 개별 토큰을 정확히 되짚어 꺼내는 능력이 떨어지기 때문이다. KDA는 이 문제를 델타 규칙 위에서 다룬다. 새 정보를 무조건 더하는 대신, 현재 상태가 그 키에 대해 내놓는 예측과 실제 값의 차이만큼만 상태를 갱신한다.
주요 인사이트
- KDA의 결정적 차이는 망각 게이트의 해상도에 있다. 기존 방식이 어텐션 헤드 하나에 망각률 하나를 적용했다면, KDA는 특징 채널마다 독립적인 감쇠값을 준다. 어떤 채널은 임시 정보를 빠르게 버리고 다른 채널은 장기 정보를 유지할 수 있어, 상태 크기를 키우지 않고도 단기·장기 기억을 분리할 수 있다.
- KDA도 완전 어텐션의 정확한 검색 능력까지 대체하지는 못한다. 그래서 KDA 층 3개마다 완전 어텐션 층 1개를 끼우는 하이브리드 구조를 택했고, 이 3:1 비율이 품질과 처리량의 균형점이었다. 네 층 중 하나만 기존 캐시를 유지하면 되므로 KV 캐시 사용량이 최대 75% 줄었다.
- 이 설계는 즉흥적인 선택이 아니라 앞선 연구의 연장선이다. 480억 파라미터 규모 MoE로 진행한 선행 실험에서 KDA 기반 구조는 완전 어텐션을 단순히 따라잡은 게 아니라 성능 지표에서 앞섰고, 100만 토큰 문맥에서 출력 토큰당 시간이 11.48밀리초에서 1.84밀리초로 떨어졌다.
- 희소성 관리도 눈여겨볼 지점이다. 전문가 896개 중 토큰마다 16개만 활성화하는 극단적 희소 MoE인데, 은닉 상태를 압축해 전문가에게 보내고 다시 복원하는 잠재 MoE 방식으로 GPU 간 데이터 이동량을 줄였다. 라우팅 균형을 유지해 일부 전문가만 과부하되는 문제도 함께 다뤘다.
- 100만 토큰 문맥은 설정 하나 바꿔 얻은 게 아니다. 명시적 위치 인코딩 없이 8K에서 64K, 256K, 100만 토큰으로 단계적으로 확장 학습했고, 필요한 정보를 문맥 전체에 일부러 흩뿌린 합성 과제까지 동원했다.
자주 묻는 질문
KDA는 기존 선형 어텐션과 무엇이 다른가?
압축 방식 자체는 같지만 압축된 정보를 훨씬 잘 정리해 둔다는 점이 다릅니다. 델타 규칙으로 예측과 실제 값의 오차만큼만 상태를 갱신하고, 망각 게이트를 어텐션 헤드 단위가 아니라 특징 채널 단위로 적용해 정보마다 다른 수명을 부여합니다.
Kimi K3의 사후 학습은 어떻게 이뤄졌나?
코딩, 범용 에이전트, 그리고 낮음·높음·최대의 서로 다른 추론 강도까지 아우르는 9개의 특화 모델을 따로 학습한 뒤 하나로 병합했습니다. 그 덕분에 모델이 사용할 추론량을 상황에 따라 조절할 수 있습니다. 또 여러 에이전트 환경을 흉내 낸 조건에서 학습해 특정 도구 형식에 과적합되지 않도록 했습니다.
개발사가 인정한 약점은 무엇인가?
세 가지입니다. 첫째, 사고 기록이 온전히 유지돼야 제대로 작동합니다. 둘째, 사용자 의도가 불분명하면 스스로 가정하고 진행하는 경향이 있는데, 이는 장기 자율 과제에 맞춰 학습한 결과로 보입니다. 셋째, 전반적 성능은 경쟁력이 있지만 사용자 경험 측면에서는 상용 프런티어 모델과 눈에 띄는 격차가 있다고 밝혔습니다.
시각 능력은 어떻게 확보했나?
기존 비전 인코더를 나중에 붙이는 방식이 아니라, 자체 비전 모델을 언어 모델과 함께 처음부터 다음 토큰 예측으로 학습했습니다. 이 방식이 오히려 더 안정적이었고 사전학습된 비전 기준선과 동등한 수준에 도달했다고 합니다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗