MiniCPM-5 1B 모델과 온디바이스 AI '인지 코어' 개념 정리

핵심 메시지

• 안드레이 카파시는 이상적인 소형 모델이 '축소된 챗봇'이 아니라, 백과사전식 지식을 걷어내고 추론·도구 사용·검색 능력만 남긴 '인지 코어(cognitive core)'여야 한다고 주장해 왔다.
• 칭화대 NLP 연구실(OpenBMB)이 공개한 MiniCPM-5는 약 10억(1B) 파라미터의 밀집(dense) 모델로, 라마 계열 구조에 128K 컨텍스트를 지원하며 Apache 2.0 라이선스로 배포됐다.
• 이 모델은 같은 벤치마크에서 더 큰 추론 모델보다 훨씬 적은 토큰을 쓰는 '토큰 효율'과, 모르는 것을 지어내지 않는 환각 억제에서 강점을 보였다.
• 단일·반복·다단계 도구 호출(함수 콜링) 같은 에이전트 작업은 잘 해내지만, 길게 이어지는 장기 작업과 시스템 프롬프트 기반 지시 따르기에서는 실패가 잦았다.
• 스마트폰·브라우저·소형 하드웨어처럼 지능이 없던 기기에 얇은 지능층을 입히는 온디바이스 활용이 이 소형 모델의 핵심 지향점이다.

쉽게 이해하기

영상은 안드레이 카파시가 제안한 '인지 코어' 개념에서 출발한다. 모든 지식을 모델 가중치에 저장하기보다, 필요한 정보는 외부 도구로 찾게 하고 모델은 추론과 도구 사용에 집중하자는 발상이다. 발표자는 2018년부터 언어 모델을 연구해 온 경험을 들며, 대형 독점 모델들이 이미 도구 사용을 대폭 강화한 것이 이 방향의 방증이라고 말한다.

그 후보로 소개하는 모델이 OpenBMB(칭화대 NLP 연구실)의 MiniCPM-5다. 약 1B 규모의 밀집 모델이며 라마 스타일 구조에 128K 컨텍스트, Apache 2.0 라이선스를 갖췄다. 사전학습만 한 베이스, 지도 미세조정(SFT) 버전, 강화학습과 온폴리시 증류까지 거친 최종 버전 등 여러 버전이 공개됐고, 학습에 쓴 데이터셋과 레시피 상당 부분도 함께 열려 있어 재현이 가능하다.

강점은 두 가지로 요약된다. 하나는 토큰 효율로, 발표자는 특정 벤치마크에서 이 모델이 더 큰 추론 모델보다 훨씬 적은 토큰으로 답에 도달한다고 소개한다. 다른 하나는 환각 억제로, 오답에 벌점을 주는 벤치마크에서 모를 때 지어내지 않는 성향이 강해, 이는 도구를 언제 호출할지 판단하는 데도 도움이 된다.

직접 테스트에서는 명암이 갈렸다. 단일·반복·다단계 도구 호출과 간단한 검색-응답(미니 RAG) 같은 에이전트 작업은 잘 처리했다. 반면 5,000단어 에세이, 복잡한 SVG·HTML 생성은 1B 모델답게 약했고, 길게 이어지는 장기 작업이나 지시 따르기에서는 자주 실패했다. 특히 사고사슬이 지나치게 길어지며 루프에 빠지거나 토큰을 소진해 정답에 이르지 못하는 경우가 많았다.

활용 사례로는 화면에 떠 있는 electron 기반 '데스크펫' 앱, 러스트로 만든 엣지 스마트홈 하네스 등이 소개된다. 발표자는 앞으로 스마트폰 앱은 물론 다양한 하드웨어에 이런 초소형 모델이 얇은 지능층으로 들어갈 것이라 전망하며, 작은 크기 덕에 LoRA 미세조정도 빠르게 할 수 있고 비전 지원 버전도 기대된다고 마무리한다.

주요 인사이트

• 지식을 가중치에 다 넣기보다 외부 도구로 찾게 하자는 방향은, 대형 독점 모델들이 모두 도구 사용을 강화하며 이미 실제로 자리 잡고 있다.
• 작은 모델의 진짜 약점은 성능 자체보다 '지나치게 긴 사고사슬'이었다. 강화학습과 온폴리시 증류로 답에 이르되 장황함을 줄이는 것이 관건이다.
• 환각에 벌점을 매기는 평가에서는 모른다고 답하는 편이 오답보다 낫다. 모를 때 지어내지 않는 성향은 도구 호출 판단에도 이롭다.
• 학습 데이터셋과 레시피를 함께 공개해 재현 가능성을 열어둔 점은 독점 모델은 물론 다수의 오픈 모델과도 차별된다.
• 1B라는 크기는 최신폰뿐 아니라 몇 년 전 기기, CPU, 브라우저에서도 돌아갈 수 있어 '지능의 보급'을 겨냥한다.

자주 묻는 질문

관련 AI 소식