키미 K3 아키텍처 해설: 전문가 896개와 키미 델타 어텐션이 만든 추론 효율성

핵심 메시지

• 키미 K3는 벤치마크 점수보다 그 아래 반도체와 추론 경제성 층위에 미치는 영향이 더 주목할 만한 모델이다.
• 모델은 896개의 전문가로 쪼개져 있고 토큰마다 16개만 활성화된다. 활성화 비율이 약 1.8%로, 오픈 모델 중 가장 크면서도 활성화 비율은 가장 낮은 축에 속한다.
• 전문가가 여러 GPU에 흩어져 있어 토큰이 GPU 사이를 오갈 때 생기는 통신 비용이 문제인데, 토큰을 저차원으로 압축해 이 부담을 줄이는 방식을 도입했다.
• 896개 중 16개만 고르는 라우터를 안정시키기 위해, 고정 점수 비교 대신 라우터 점수 분포의 백분위로 전문가를 배분하는 분위수 균형 방식을 썼다.
• 키미 델타 어텐션을 일반 어텐션과 3대 1 비율로 섞은 하이브리드 구조가 디코딩 처리량을 6배로 끌어올리면서도 점수를 유지하는 핵심으로 지목됐다.

쉽게 이해하기

영상은 2025년 1월의 딥시크 충격을 출발점으로 삼는다. 딥시크가 벤치마크에서 오픈AI를 사실상 따라잡았고, GPU 대여 비용만 놓고 보면 훨씬 적은 돈으로 학습했다는 사실이 당시 파장을 일으켰다. 해설자는 키미 K3 역시 비슷한 위치에 서 있다고 본다. 다만 그가 주목하는 지점은 벤치마크 순위가 아니라, 이 모델의 구조가 그 아래 반도체와 추론 경제성 층위를 어떻게 흔드는가다.

출발점은 이제 업계 표준이 된 전문가 혼합(MoE) 구조다. 모델 전체가 아니라 일부만 켜서 토큰당 연산 부담을 줄이는 방식인데, 모델마다 희소성의 정도가 다르다. 키미 K3는 896개의 전문가로 나뉘어 있고 토큰마다 16개만 활성화돼 활성화 비율이 약 1.8%에 그친다. 1조 파라미터 규모였던 이전 세대와 비교하면 전문가 수는 두 배 넘게 늘리면서 활성화 비율은 2%에서 1.8%로 오히려 낮췄다. 크기를 키우면서도 효율을 포기하지 않은 셈이다.

문제는 이 효율이 실제 데이터센터에서도 유지되느냐다. 이 정도 규모의 모델은 낮은 정밀도로도 가중치만으로 엔비디아 DGX B300 기준 여섯 장 가까운 GPU에 흩어지고, 컨텍스트를 담을 캐시 공간은 빠듯해진다. 현실적인 배치에서는 64개 GPU로 구성된 슈퍼노드나 72칩 랙 구성에 전문가들이 펼쳐지므로, 토큰 하나가 필요한 전문가를 찾아 GPU 사이를 여러 번 오가게 되고 그때마다 통신 비용이 붙는다.

키미 K3의 대응은 토큰 임베딩을 더 낮은 차원의 잠재 표현으로 압축한 뒤 전문가에게 보내고, 마지막에 원래 차원으로 되돌리는 방식이다. 오가는 데이터 양과 연산량이 함께 줄어든다. 여기에 '안정적'이라는 수식어가 붙은 이유는 라우터 때문이다. 896개 목록에서 16개만 뽑는 일은 작은 변동에도 쉽게 흔들리는데, 자주 쓰인 전문가에 벌점을 주는 기존 방식 대신 라우터 점수 분포에서 백분위로 배분하는 분위수 균형을 도입했다. 고정된 원점수를 비교하는 대신 상대적인 등수로 평가하는 방식이다.

가장 큰 성능 기여로 지목된 것은 키미 델타 어텐션이다. 어텐션의 이차 복잡도를 선형에 가깝게 낮추려는 흐름 속에서, 미리 정해진 메모리 셀에 새 정보를 쓰고 옛 정보를 학습된 비율로 지워나가는 접근이 있었고, 여기서 한발 더 나아가 값 전체를 덮어쓰는 대신 오차만 계산해 고치는 게이티드 델타넷이 나왔다. 키미 델타 어텐션은 이 감쇠 제어를 더 세밀한 함수로 바꿔, 무엇을 얼마나 기억하고 잊을지를 채널 단위로 조절할 수 있게 했다. 이 층을 일반 어텐션과 3대 1로 번갈아 배치한 하이브리드 구조가 디코딩 처리량을 6배로 만든 배경이다.

마지막 조각은 층 사이의 정보 배관에 해당하는 어텐션 잔차다. 층이 깊어질수록 초기 정보가 희석되는 문제를 완화하기 위해, 현재 층이 앞선 잔차 상태에서 필요한 정보를 선택적으로 끌어오도록 했다. 다만 연결이 지나치게 비싸지지 않도록 이전 층들을 논리 블록으로 묶어 GPU 간 상호연결 부담을 줄였다. 해설자는 이 모델의 주요 구성 요소들이 새 모델과 함께 갑자기 등장한 것이 아니라, 몇 달 전 각각 공개된 연구를 더 큰 규모로 결합한 결과라는 점을 강조한다.

주요 인사이트

• 모델 경쟁의 실질적인 승부처가 벤치마크 점수에서 추론 단가로 옮겨가고 있다. 같은 지능을 얼마나 싸게 제공하느냐가 아키텍처 설계의 목표가 됐다.
• 전문가를 잘게 쪼갤수록 이론적 효율은 올라가지만, 실제로는 GPU 간 통신이라는 물리적 제약이 발목을 잡는다. 최근 구조 혁신의 상당수가 이 통신 비용을 줄이는 데 집중돼 있다.
• 전문가 수를 늘릴수록 라우터의 선택 문제는 어려워진다. 절대 점수 대신 분포상의 상대 위치로 판단하도록 바꾼 것은 학습 안정성을 확보하기 위한 실용적 선택이다.
• 선형 어텐션 계열 기법이 순환 신경망과 닮았다는 점은 학습 효율이라는 오래된 약점을 다시 불러온다. 청크 단위 병렬화 같은 기법이 함께 따라붙는 이유다.
• 구성 요소들이 모델 공개 몇 달 전에 이미 논문으로 나와 있었다는 점은, 최근 모델 경쟁이 단발성 발표보다 축적된 연구를 규모에 맞게 조립하는 능력의 싸움임을 보여준다.

자주 묻는 질문

관련 AI 소식