키미 K3 MoE 구조와 GPU·HBM 수요 논쟁, 효율이 올라가면 반도체는 덜 팔릴까

핵심 메시지

• 키미 K3는 전체 파라미터 2조 8000억 규모에, 전문가 896개 가운데 토큰마다 16개만 고르는 매우 희소한 전문가 혼합(MoE) 구조로 소개됐다.
• 선택 비율은 약 1.8%로 이전 세대인 K2(약 2.1%)나 딥시크 V3(약 3.1%)보다 낮다. 모델은 더 커졌지만 계산이 지나가는 길은 더 듬성듬성해진 셈이다.
• MoE는 토큰당 계산량을, 키미 델타 어텐션(KDA)은 긴 문맥에서 커지는 KV 캐시 부담을 줄인다. 두 기술이 겨냥하는 문제는 서로 다르다.
• 계산이 줄어도 전체 가중치는 어딘가에 올려둬야 한다. 2조 8000억 파라미터를 16비트로 담으면 가중치만 약 5.6TB로, HBM 용량과 GPU 간 통신은 여전히 필요하다.
• 앤트로픽은 문샷 AI를 포함한 중국 기업들이 부정 계정으로 클로드를 대량 호출해 능력을 추출하려 했다고 주장했지만, 그 데이터가 K3에 실제로 쓰였는지는 확인되지 않았다.

쉽게 이해하기

최근 엔비디아와 마이크론을 비롯한 AI 반도체 종목이 약세를 보였고, 그 배경 중 하나로 중국 문샷 AI가 공개한 키미 K3가 지목됐다. 흥미로운 점은 같은 모델을 두고 정반대의 해석이 동시에 나왔다는 것이다. 한쪽에서는 이렇게 효율적인 모델이 계속 등장하면 GPU를 예상만큼 사지 않아도 되는 것 아니냐고 걱정했고, 다른 쪽에서는 2조 8000억 파라미터짜리를 실제로 서비스하려면 오히려 더 많은 GPU와 메모리가 필요하지 않겠냐고 반문했다.

AI가 답을 만드는 과정은 결국 파라미터를 이용한 거대한 행렬 계산의 반복이다. GPU가 여기에 잘 맞는 이유는 원래 수많은 픽셀을 동시에 처리하려고 만들어진 병렬 구조이기 때문이다. 그런데 계산기가 아무리 빨라도 숫자가 제때 도착하지 않으면 소용이 없다. 그래서 실행 중인 모델의 가중치는 GPU 가까운 고대역폭 메모리, 즉 HBM에 최대한 올려 두고, 한 장에 다 들어가지 않으면 여러 GPU와 서버에 나눠 담는다. 거대한 모델이 부담스러운 이유는 계산량 하나로 끝나지 않는다는 데 있다.

키미 K3가 택한 첫 번째 해법은 전문가 혼합 구조다. MoE 자체는 새로운 기술이 아니고 딥시크 V3, 알리바바 Qwen3, 이전 세대 키미 K2도 이미 쓰고 있었다. K3가 눈에 띄는 이유는 이 방식을 훨씬 더 크고 희소하게 밀어붙였다는 점이다. 다만 '전문가'라는 이름 때문에 수학 문제는 수학 전문가에게 보낸다는 식으로 상상하기 쉬운데, 실제로는 학습 과정에서 서로 다른 계산 패턴을 맡게 된 신경망 블록에 가깝고 역할이 깔끔하게 나뉘지도 않는다. 게다가 선택은 계층마다, 토큰마다 새로 이뤄진다.

두 번째 해법은 100만 토큰이라는 긴 문맥을 감당하는 방식이다. 대화가 길어지면 앞서 처리한 계산값을 저장해 두는 KV 캐시가 커지는데, 수백 명이 동시에 긴 문서를 읽히면 이 캐시가 HBM 용량과 동시 접속자 수를 제한하는 요인이 된다. KDA는 과거 정보를 매번 그대로 펼쳐 놓는 대신 제한된 크기의 상태에 계속 반영하는 선형 어텐션 계열 기술로, 회의 기록을 전부 쌓아 두는 대신 작업 노트 하나를 계속 고쳐 쓰는 방식에 비유된다.

여기에 성능의 출처를 둘러싼 논쟁도 따라붙었다. 앤트로픽은 2026년 2월, 문샷 AI를 포함한 중국 AI 기업들이 약 2만 4000개의 부정 계정을 동원해 클로드를 비정상적으로 대량 호출하며 능력을 추출하려 했다고 주장했다. 다만 증류라는 학습 방식 자체는 업계에서 널리 쓰이며, 해당 데이터가 K3에 직접 쓰였는지는 확인되지 않았다. 다른 모델의 출력만 모은다고 2조 8000억 파라미터 모델이 생기는 것도 아니어서, 단정하기 어려운 상태다.

주요 인사이트

• 효율이 좋아졌다고 총수요가 줄어드는 것은 아니다. 비용이 내려가면 기업들은 아껴 두기보다 이전에는 비싸서 못 하던 일, 예컨대 코드 저장소 전체를 읽히거나 에이전트를 몇 시간씩 돌리는 쪽으로 옮겨간다.
• 이미 비슷한 장면이 반복됐다. 딥시크가 저비용 고성능 모델을 공개했을 때도, 구글이 KV 캐시를 낮은 비트로 압축하는 기술을 내놨을 때도 시장은 먼저 메모리 수요 감소를 걱정했다.
• '전문가 896개 중 16개만 쓴다'는 설명은 MoE가 적용된 계층 안에서의 이야기다. 입력 처리, 어텐션, 라우터, 결과를 합치는 공통 계층은 계속 작동하므로 계산량이 정확히 16/896으로 줄어드는 것은 아니다.
• 거대한 MoE 모델에서는 순수 연산 성능만큼이나 HBM 대역폭, GPU 간 통신, 전문가 배치와 부하 균형이 실제 비용을 좌우한다. GPU 개수만으로 경쟁력을 설명하기 어려워졌다는 뜻이다.
• 시장이 진짜로 불안해하는 지점은 GPU가 필요 없어지는지가 아니라, 막대한 투자로 확보한 기술 격차와 높은 API 가격을 얼마나 오래 유지할 수 있느냐다.

자주 묻는 질문

관련 AI 소식