VibeThinker 3B 검증: 소형 모델이 수학·코딩에서 거대 모델을 따라잡은 방법과 한계

핵심 메시지

• VibeThinker 3B는 처음부터 학습한 모델이 아니라 Qwen 2.5 Coder 3B에 사후학습 레시피를 적용해 만든 연구용 모델이다.
• 수학과 코드처럼 검증 가능한 추론은 탐색과 제약 만족의 문제라 파라미터를 덜 요구하지만, 폭넓은 지식은 저장 용량 자체가 필요하다는 가설을 실험했다.
• 수학·코딩 벤치마크에서는 수백 배 큰 모델들과 비슷하거나 앞섰지만, 지식형 벤치마크에서는 열린 모델에도 뒤처졌다.
• 여러 답을 만들어 하나를 골라내는 테스트 시점 기법이 점수를 끌어올렸는데, 비교 대상이 같은 기법을 쓰지 않았다면 공정성 문제가 남는다.
• 실제로 돌려보니 쉬운 문제에도 긴 사고 과정을 소모하고 디자인·상식 영역에서 약했다. 프로덕션이 아니라 연구 프로젝트로 보는 것이 맞다는 평가다.

쉽게 이해하기

30억 파라미터 모델이 훨씬 큰 상용 모델들을 어려운 수학 문제에서 앞섰다는 주장은 반사적으로 무시하기 쉽다. 하지만 영상은 그 주장이 '모든 면에서 더 낫다'가 아니라 추론과 관련된 몇몇 구체적 과제로 한정돼 있다는 점에 주목한다. 모델의 이름은 VibeThinker 3B이고, 중국의 소셜 서비스 웨이보의 AI 랩에서 나왔다. 흥미로운 대목은 밑바탕이 새로 학습한 모델이 아니라 이제 다소 오래된 Qwen 2.5 Coder 3B라는 것이다. 즉 성과의 정체는 사후학습 레시피다.

지금까지 소형 모델에 대한 통념은, 좁은 과제에 미세조정하면 그 하나는 잘하게 되지만 추론하고 일반화하는 능력을 잃는다는 것이었다. 연구팀은 다른 가설을 세운다. 모든 지능이 같은 수의 파라미터를 같은 방식으로 쓸 필요는 없다는 것이다. 수학이나 코드처럼 정답을 검증할 수 있는 추론은 주로 탐색과 제약 만족, 그리고 오류 수정의 문제이므로 사실을 잔뜩 외워둘 필요가 없고, 필요한 것은 답을 찾아내는 엔진이다. 반면 잡다한 과학 지식이나 긴 꼬리에 놓인 사실 같은 폭넓은 지식에는 지름길이 없어서 원시적인 파라미터 용량이 필요하다. 사실을 담지 않고 핵심 추론 원리와 도구만 갖춘 소형 모델이라는 안드레이 카파시의 구상과 통하는 방향이다.

벤치마크를 보면 이 모델은 자기보다 수백 배 큰 모델들과 비슷한 구간에서 겨룬다. AIME 계열 수학 문제와 코딩 과제에서는 Claude Opus 4.5, Gemini 3 Pro, GLM 5, Kimi 2.5 같은 모델들과 대등하거나 앞서는 결과가 나오고, Gemma 4 12B나 Olmo, 최신 Qwen 3 계열 같은 소형 모델군과는 격차가 크게 벌어진다. 반면 GPQA Diamond처럼 지식을 묻는 지표에서는 열린 추론 모델들보다도 뒤지고 상용 모델과는 한참 떨어진다. 검증 가능한 보상으로 강화학습을 걸 수 있는 영역과 그렇지 못한 영역이 정확히 갈리는 셈이다.

학습 파이프라인은 스펙트럼에서 신호를 뽑는다는 원칙으로 정리된다. 먼저 다양한 해법 전략을 담은 합성 데이터로 넓은 스펙트럼을 만들고, 강화학습으로 그중 옳은 것을 증폭한다. 지도 미세조정은 두 단계 커리큘럼으로, 1단계는 수학·코드·STEM·대화를 폭넓게 훑고 2단계는 더 어렵고 긴 문제만 다시 학습한다. 이때 5천 토큰에 못 미치는 추론 흔적과 쉬운 문제는 버려, 얕은 패턴 대응이 아니라 긴 호흡의 추론을 강제한다. 이어지는 다중 도메인 강화학습에는 GRPO의 변형으로 보이는 MGPO를 쓰는데, 너무 쉬운 예제도 아직 감당할 수 없을 만큼 어려운 예제도 피하도록 가중을 조정하는 방식이다. 여기에 다양성을 노린 증류와 체크포인트 병합, 처음에는 정확도를 올리고 나중에는 짧고 맞는 답에 보상을 주는 긴 답에서 짧은 답으로의 전환, 그리고 여러 답을 생성해 하나를 골라내는 테스트 시점 기법이 얹힌다. 이 마지막 기법이 점수를 꽤 끌어올리는데, 비교 대상 모델들이 같은 방식을 쓰지 않았다면 공정한 비교로 보기 어렵다는 지적이 함께 붙는다.

직접 실행한 결과는 주장과 한계를 모두 보여준다. 강점이라고 밝힌 코딩·수학·논리에서는 실제로 길고 집요한 사고 과정을 거쳐 제법 잘 풀어낸다. 다만 그 사고 과정이 늘 길다는 게 문제다. 단순한 논리 문제에도 비교 대상보다 훨씬 많은 토큰을 쓰며, 문제의 난이도에 맞춰 힘을 조절하는 유연성이 큰 모델만큼 없다. 5천 단어 에세이를 요청하면 계획은 잘 세우고 요구를 이해하면서도 실제 분량은 한참 짧고, 자전거 탄 펠리컨을 SVG로 그려 달라는 과제에서는 사고에만 수천 토큰을 쓰고도 형태를 제대로 만들지 못한다. HTML은 문법적으로 맞게 써내지만 디자인 감각은 학습 범위 밖이고, 간간이 중국어가 섞여 나오기도 한다. 결론적으로 지금 프로덕션에 쓸 모델은 아니지만, 같은 아이디어를 90억이나 300억 파라미터 규모에 적용하면 지식까지 갖춘 훨씬 쓸모 있는 열린 모델이 나올 수 있다는 기대를 남긴다.

주요 인사이트

• 지능을 하나의 축으로 보지 않고 검증 가능한 추론과 지식 저장으로 나누면, 모델 크기 논쟁의 성격이 달라진다. '작아도 되는 능력'과 '커야 하는 능력'이 따로 있다는 주장이기 때문이다.
• 벤치마크 표를 읽을 때는 여러 답을 만들어 고르는 테스트 시점 기법을 쓴 쪽과 쓰지 않은 쪽이 같은 칸에 놓였는지 확인해야 한다. 비교 조건이 다르면 순위의 의미도 달라진다.
• 긴 사고 과정을 강제하도록 학습하면 쉬운 문제에도 토큰을 낭비하는 경직성이 생긴다. 상용 모델들이 최근 답을 짧게 줄이는 방향으로 되돌아가는 이유와 같은 맥락이다.
• 지식은 사실과 수치만이 아니다. 자전거를 탄 펠리컨이 어떻게 생겼는지 같은 표상도 지식이며, 그것을 담으려면 파라미터 용량이 필요하다.
• 좁은 영역에 특화한 소형 모델은 그 자체로 범용 대체물이 아니라 에이전트의 부품이 될 여지가 있다. 디자인 전용, 웹 코딩 전용 같은 갈래가 그 예다.

자주 묻는 질문

관련 AI 소식