키미 K3 오픈웨이트와 모델 범용재화 진단 — AI 프런티어 코리아 EP107 핵심 정리

핵심 메시지

• 키미 K3가 파라미터 2.8조·활성 1040억·컨텍스트 100만 토큰 사양으로 오픈웨이트 공개되면서, 프런티어 랩의 설계 문법이 상당 부분 드러났다.
• 핵심 신기술 KDA(키미 델타 어텐션)는 LSTM과 맘바의 직관을 어텐션에 섞어 KV 캐시 메모리를 약 75% 줄인다.
• 진행자들은 아키텍처의 기여도를 10% 정도로 보고, 나머지 90%는 데이터셋·컴퓨트·포스트트레이닝 엔지니어링에 있다고 진단한다.
• 젠슨 황이 주도한 오픈웨이트 지지 성명에 앤스로픽만 서명하지 않았고, 대신 칩 수출 통제와 산업 규모 증류 차단을 제안해 반발을 샀다.
• 모델이 범용재가 되면 가치는 아래의 칩 회사와 위의 애플리케이션 회사로 갈라져 이동하며, 그 상단을 붙잡는 틀로 'control plane'이 제시된다.

쉽게 이해하기

방송은 미국 증시의 롤러코스터에서 출발한다. 시가총액 1·2위 종목이 이틀 연속 15%씩 빠졌다가 다음 날 30% 가까이 오르는 장세에서, 상황 인식 백서로 유명한 레오폴드 아셴브레너의 레버리지 포트폴리오가 반대매매로 정리됐다. 진행자는 이를 두고 방향을 맞혀도 하루 단위 변동성에는 무너질 수 있다는 사례로 설명하며, 주가는 미래 기대를 앞당겨 반영하는 상품이라 단기 펀더멘털과는 상관이 없다는 점을 강조한다.

본론은 오픈웨이트로 풀린 키미 K3 페이퍼 읽기다. 트랜스포머 블록 97개는 KDA 세 개와 게이티드 MLA 한 개를 한 묶음으로 쌓는 구조이고, KDA는 KV 캐시를 통째로 들고 있는 대신 하나의 상태와 그 변화량(델타)만 파라미터화해 추적한다. 순환 신경망처럼 시퀀스를 처리하기 때문에 위치 인코딩이 아예 없는 NoPE 구성이 되고, 대신 게이티드 MLA 쪽에 전통적인 KV 캐시를 남겨 KDA가 놓칠 수 있는 부분을 보완한다.

어텐션 residual은 잔차 연결을 한 단계 위로 끌어올린 아이디어다. 기존 트랜스포머가 바로 아래 층에서 위로 정직하게 쌓아 올리는 것과 달리, 학습 가능한 가중치와 소프트맥스 계수로 훨씬 아래 블록들의 출력까지 골라 꺼내 쓴다. 세 사람은 이런 변화들이 이론에서 유도된 게 아니라 '해 보니 되더라' 식의 발견에 가깝다고 평가하면서, 동일한 컴퓨트로 키미 K2 대비 2.5배 빠르게 더 낮은 검증 손실에 도달했다는 수치에 주목한다.

그러나 진행자들의 결론은 아키텍처가 아니다. 페이퍼는 데이터셋과 컴퓨트 총량을 거의 밝히지 않고 포스트트레이닝에 지면을 몰아썼는데, 여기에 지식 그래프로 강화학습 연습 문제를 무한히 뽑아내는 방식, 양자화를 미리 감안해 훈련하는 QAT, 그리고 최대·중간·최소 추론 예산으로 각각 학습시킨 교사 모델 세 개를 하나의 학생 모델에 합치는 멀티티처 온폴리시 증류가 담겨 있다. 이들은 추론 트레일은 감출 수 있어도 툴 콜 트레일은 감출 수 없으니 앞선 모델을 증류하는 흐름 자체는 막을 수 없다고 본다.

마지막 축은 오픈웨이트 논쟁과 그 이후다. 젠슨 황이 낸 미국 AI 리더십을 위한 오픈웨이트 성명에는 오픈AI까지 서명했지만 앤스로픽은 빠졌고, 다리오 아모데이는 대신 칩 수출 통제와 산업 규모 증류 차단, 배포 전 검수를 제안했다가 여론의 역풍을 맞았다. 진행자는 앤스로픽의 1조 달러대 밸류에이션과 키미의 350억 달러 평가를 대비시키며 모델 계층의 가치 포착력이 빠르게 떨어지고 있다고 진단한다. 에이전트를 아무리 붙여도 사람이 사라지지 않는 이유는 능력이 아니라 제어가 안 되기 때문이며, 회사의 복식부기 원장처럼 에이전트의 행동을 기록하고 권한을 가두는 상위 제어층, 곧 control plane이 다음 가치의 자리라는 것이 그의 잠정 결론이다.

주요 인사이트

• 작은 모델이 상위 모델의 벤치마크를 넘어서는 장면은, 성능 향상보다 상위 모델의 다음 버전이 임박했다는 신호로 읽히기도 한다.
• 추론 과정은 숨길 수 있어도 툴 호출 기록은 사용자 쪽으로 흘러갈 수밖에 없어, 증류를 기술적으로 차단하기는 사실상 어렵다.
• 하네스의 개념이 개별 작업에서 도구를 쓰는 수준에서 조직 전체의 권한·데이터·목표를 규정하는 수준으로 올라가야 한다는 문제 제기가 나온다.
• 모델이 범용재가 될수록 단기 승자는 칩과 인프라지만, 장기적으로는 고객 접점을 쥔 애플리케이션 계층으로 가치가 이동한다는 관점이 제시된다.
• RSI를 두고 나온 'Pacing the Frontier' 공개서한을 세 사람은 실제 속도 조절보다는 외교적 제스처로 읽으며, 2023년 서한이 아무것도 멈추지 못했던 전례를 든다.

자주 묻는 질문

관련 AI 소식