MiniCPM-V 4.6 리뷰: 13억 파라미터 소형 비전 모델로 로컬 AI 에이전트 돌려보기

핵심 메시지

• 로컬 에이전트는 화면이나 문서를 봐야 하는 순간 곧바로 벽에 부딪히는데, 작은 비전 모델이 그 빈틈을 메울 수 있다.
• MiniCPM-V 4.6은 총 13억 파라미터로, 4억 규모 시각 인코더에 8억 파라미터 언어모델을 붙였고 아파치 2.0 라이선스로 가중치를 공개했다.
• 가장 인상적인 지점은 지능 점수가 아니라 토큰 효율로, 같은 계열의 더 작은 언어모델보다 출력 토큰을 수십 배 적게 썼다.
• 추론 시점에 시각 토큰 압축 비율을 4배와 16배로 바꿔 정밀도와 속도를 상황에 맞게 조절할 수 있다.
• 영수증·처방전 같은 문서 질의응답은 쓸 만했지만 영상의 세부 사실은 틀리는 경우가 있어, 정확도가 중요한 곳에는 적합하지 않다.

쉽게 이해하기

샘 위테빈은 로컬에서 에이전트를 돌릴 때 반복해서 겪는 문제로 시각 처리를 꼽았다. 추론과 도구 호출이 잘 맞아떨어지는 작은 언어모델을 겨우 찾아 놓아도, 스크린샷이나 PDF, 차트를 봐야 하는 순간 외부 비전 API를 부르거나 훨씬 큰 멀티모달 모델로 갈아타야 하고 그러면 VRAM과 속도를 함께 잃는다는 것이다. 그가 이번에 살펴본 MiniCPM-V 4.6은 바로 그 자리를 노린 모델이다.

이 모델을 만든 오픈BMB는 칭화대 자연어처리 연구실과 모델베스트가 함께 운영하는 조직으로, 몇 해 전부터 소형 모델 계열을 꾸준히 내놓으며 누적 다운로드 2000만 건을 넘겼다. MiniCPM-V 4.6은 4억 규모 시각 인코더를 8억 파라미터 언어모델에 결합한 총 13억 파라미터 모델로, 아파치 2.0 라이선스로 가중치를 열어 뒀으며 26만 토큰 수준의 문맥으로 이미지 여러 장과 영상 입력까지 받는다.

위테빈은 이 모델을 종합 지능 지표에서 13점 정도로 평가하며 최상위권과는 거리가 멀다고 분명히 했다. 다만 같은 계열의 8억 파라미터 언어모델이나 그보다 두 배 이상 큰 다른 소형 모델들을 앞섰고, 더 어려운 시각 추론 지표에서는 20억 파라미터 미만 공개 가중치 모델 중 가장 좋은 점수를 냈다고 전했다. 그는 이런 결과를 두고 작은 연구소들이 큰 연구소가 만든 좋은 부품 위에 자신들의 학습 기법을 얹어 효율 좋은 모델을 내놓는 흐름이라고 해석했다.

그가 정작 더 중요하다고 본 것은 벤치마크가 아니라 토큰 효율이었다. 같은 평가를 도는 동안 이 모델이 쓴 출력 토큰은 같은 계열 언어모델의 비추론 모드 대비 약 19분의 1, 추론 모드 대비 약 43분의 1이었다. 에이전트 루프에서는 도구 호출 한 번, 스크린샷 한 장, PDF 한 쪽이 모두 토큰을 먹기 때문에, 시각 모델이 필요 이상으로 토큰을 태우면 정작 할 일을 시작하기도 전에 문맥 예산이 바닥난다는 설명이다.

실제 시연에서는 이미지 설명과 시각 질의응답, 영수증과 손글씨 처방전에서 약품명과 용량을 뽑아내는 작업이 무난하게 처리됐다. 반면 축구 경기 영상에서는 득점하지 않은 팀이 골을 넣었다고 설명하는 오류가 나왔고, 영수증 총액을 묻는 일반적인 질문에도 사고 과정을 켜지 않으면 틀린 답이 나왔다. 그는 압축 비율과 사고 모드라는 두 가지 손잡이를 직접 시험해 보고 자기 작업에 맞는 설정을 찾으라고 권했다.

주요 인사이트

• 소형 모델을 고를 때 성능 순위만 보면 놓치는 지표가 토큰 사용량이다. 에이전트에서는 같은 답을 몇 개의 토큰으로 내놓느냐가 문맥 예산과 응답 속도를 직접 좌우한다.
• 압축 비율을 추론 시점에 바꿀 수 있다는 것은, 문자 인식처럼 세밀한 작업과 영상처럼 양이 많은 작업을 한 모델로 나눠 처리할 수 있다는 뜻이다.
• 사고 모드를 켜면 설명은 길고 자세해지지만 답이 항상 좋아지지는 않았다는 관찰은, 기능을 켜기 전에 자신의 과제로 검증해야 한다는 점을 보여 준다.
• vLLM·llama.cpp 같은 대표적인 실행 환경과 양자화 형식, 모바일 예제까지 함께 나왔다는 점은 온디바이스 배포를 실제로 염두에 둔 공개라는 신호다.
• 본문 처리는 텍스트 전용 모델에 맡기고 이미지가 필요할 때만 이런 소형 비전 모델을 호출하는 구성이, 로컬 환경에서 현실적인 절충안이 될 수 있다.

자주 묻는 질문

관련 AI 소식