샤오미 MiMo, 첫 LLM 공개 1년 만에 오픈소스 선두로: bycloud 분석

핵심 메시지

• 샤오미는 첫 LLM을 공개한 지 약 1년 만에 MiMo V2.5 Pro로 오픈소스 리더보드 상위권에 올랐다고 영상은 전한다.
• DeepSeek 초기 연구에 참여했던 핵심 연구자가 2025년 11월 무렵 샤오미 LLM 팀을 이끌면서 연구 역량이 크게 도약했다.
• MiMo 계열은 7B 추론 모델에서 시작해 비전언어(VL)·오디오·대형 MoE 모델까지 빠르게 확장됐다.
• 128토큰 슬라이딩 윈도우 어텐션, 다중 교사 온폴리시 증류 등 최신 기법과 실험적 시도가 성능의 밑바탕이 됐다.
• MiMo V2.5 Pro는 진짜 MIT 라이선스로 공개돼 상업적 활용 문턱이 낮다는 점이 특히 주목된다.

쉽게 이해하기

중국 스마트폰 제조사 샤오미가 인공지능 경쟁에 뛰어들었다. 영상에 따르면 샤오미는 첫 대규모 언어모델(LLM)을 내놓은 지 약 1년 만에 최신 모델 MiMo V2.5 Pro로 DeepSeek·MiniMax·Kimi 등과 어깨를 나란히 하며 오픈소스 리더보드 정상권에 진입했다.

샤오미는 2010년 MIUI라는 안드로이드 기반 운영체제로 출발해, 좋아하는 소프트웨어를 먼저 만들고 그 위에 하드웨어를 얹되 공격적인 가격으로 판다는 전략으로 성장했다. 스마트폰에서 TV·가전으로, 2021년에는 10년간 100억 달러를 투입하는 전기차 사업까지 확장했고 3년 만에 차량을 출하했다. bycloud는 이런 공급망 실행력과 실행 규율이 AI 도약에도 이어졌다고 본다.

MiMo 프로젝트의 전환점은 인력이었다. DeepSeek의 초기 논문들(DeepSeek LLM·MoE·Coder V2·V3·R1)에 기여했던 연구자가 2025년 11월 무렵 샤오미 LLM 연구를 이끄는 것으로 알려졌고, 이후 공개된 대부분의 MiMo 논문에서 교신저자로 이름을 올렸다.

MiMo 계열은 25조 토큰으로 사전학습한 추론 특화 7B 모델에서 시작해, 그 위에 얹은 비전언어 모델 MiMo VL, 100만 시간 오디오로 학습한 MiMo 오디오, 그리고 309B 규모의 MoE인 MiMo V2 Flash로 확장됐다. 영상은 각 모델이 당대의 오픈 모델들과 대등하거나 앞섰다고 설명한다.

마지막 단계인 MiMo V2.5 Pro는 1조 파라미터를 넘는 대형 모델로, 긴 호흡의 에이전트 작업에 초점을 맞췄다. 예시로 러스트(Rust) 컴파일러를 4.3시간·672회 도구 호출로 완성해 233개 숨은 테스트를 통과했다는 시연이 소개된다.

주요 인사이트

• 토큰 수만이 아니라 토큰의 품질이 중요하다. MiMo 7B는 Qwen3(30조 토큰)보다 적은 25조 토큰으로도 자체 벤치마크에서 앞섰다고 영상은 말한다.
• 더 긴 문맥 창이 늘 좋은 것은 아니다. 128토큰 슬라이딩 윈도우가 512토큰보다 오히려 나은 결과를 냈고, 이는 지역·장거리 어텐션의 역할 분담이 뚜렷해지기 때문이라는 해석이 제시된다.
• HiSparse는 전체 어텐션 층이 중요한 토큰 블록을 골라 이후 희소 어텐션 층이 재사용하게 해 연산과 메모리(KV 캐시)를 함께 줄이는 실험적 접근이다.
• 다중 교사 온폴리시 증류처럼 최종 답이 아니라 토큰 단위의 촘촘한 피드백을 주는 후처리 기법이 성능 향상에 쓰였다.
• 진짜 MIT 라이선스 공개와 높은 토큰 효율(동급 대비 40~60% 적은 토큰 사용 주장)은 실사용 비용 측면에서 의미가 크다.

자주 묻는 질문

관련 AI 소식