한국어 오픈소스 LLM 비교: 하이퍼클로바 X SEED, Qwen3, Gemma 3 성능과 선택 기준

핵심 메시지

• 네이버가 공개한 하이퍼클로바 X SEED는 0.5B·1.5B·3B 세 가지로, 3B 비전 모델은 영상까지 이해하는 드문 소형 오픈소스 모델이다.
• 한국어 기준 벤치마크(KMMLU·KoBEST·HAE-RAE 등)에서 하이퍼클로바 X SEED 3B 텍스트 모델이 Gemma 3 4B를 앞섰지만, 영어 기준으로 비교하면 결과가 달라질 수 있다.
• Qwen3는 MoE 구조를 채택해 235B 중 220억 개 매개변수만, 30B 중 30억 개만 활성화하는 식으로 연산량을 줄인다.
• Qwen3 235B는 Arena Hard 95.6점으로 Gemini 2.5 Pro에 근접했고, 30B 모델도 91점을 기록해 소비자용 GPU 사용자에게 현실적인 선택지가 됐다.
• 실사용 결론은 범용은 함수 호출을 기본 지원하는 Qwen3, 멀티모달은 하이퍼클로바 X SEED가 낫다는 것이다.

쉽게 이해하기

한국어가 되는 오픈소스 LLM은 오랫동안 선택지가 좁았다. 그래서 상업적 이용이 가능한 라이선스로 풀린 구글 Gemma 3가 한국어 성능이 준수하다는 이유만으로도 많이 쓰였다. 여기에 네이버가 하이퍼클로바 X SEED를 공개하고, 알리바바가 Qwen3를 내놓으면서 상황이 달라졌다. 영상은 세 모델을 비슷한 규모로 맞춰 실제로 돌려보며 비교한다.

하이퍼클로바 X SEED는 0.5B·1.5B·3B 세 가지로 나온다. 0.5B와 1.5B는 PC의 GPU보다는 온디바이스 AI를 겨냥한 크기다. 눈에 띄는 건 3B 비전 모델이다. 이미지뿐 아니라 영상을 이해하는 오픈소스 모델은 흔치 않은데, 이 모델은 영상을 주고 촬영 장소가 어디인지, 근처를 여행한다면 무엇을 하면 좋을지 물었을 때 장소와 특색을 파악해 답한다. 비전 벤치마크 9종 평균에서 Qwen2.5-VL 3B보다 높고 7B에 가까운 점수를 냈다. RAG나 에이전트를 만들 때 이미지 안의 한국어를 제대로 읽어내는 것만으로도 큰 장점이라고 영상은 짚는다.

텍스트에서는 하이퍼클로바 X SEED 3B가 한국어 기준 벤치마크에서 Gemma 3 4B를 뚜렷한 차이로 앞선다. 다만 발표자는 이 비교가 KMMLU·KoBEST·HAE-RAE 같은 한국어 척도 기준이라는 점을 분명히 하며, 영어로 비교하면 Gemma 3나 Qwen이 더 나을 수 있다고 덧붙인다. Llama 3.1처럼 모델 자체는 뛰어나도 한국어 파인튜닝 없이는 이해도가 떨어져 국내에서 덜 쓰이던 사례를 감안하면, 토종 모델이 후보에 오른 것 자체가 의미가 있다는 평가다.

Qwen3의 특징은 MoE 구조다. 235B-A22B는 로드할 때 2,350억 개 매개변수를 메모리에 올리지만 실제 연산에는 220억 개만 활성화한다. 질문에 따라 적합한 전문가 조합이 골라지는 방식이다. 성능은 공격적이다. Arena Hard에서 235B가 95.6점으로 Gemini 2.5 Pro와 사실상 동급이고, 수학 경시 데이터셋 AIME에서도 격차를 크게 줄여 2위권에 올랐다. Codeforces에서는 DeepSeek·Gemini 2.5 Pro·o3-mini보다 높은 점수를 냈는데, 벤치마크 오염 여부는 추후 검증할 부분이라고 영상은 단서를 단다.

학습 방식도 공개됐다. 프론티어 모델은 CoT 데이터로 콜드 스타트 문제를 푼 뒤 추론 능력을 강화학습으로 끌어올리고, 추론 모드와 비추론 모드를 하나의 모델 안에서 켜고 끌 수 있게 하는 '싱킹 모드 퓨전'을 거친 다음, RLHF·DPO·PPO 계열의 선호도 학습으로 마무리한다. 30B·14B·8B·4B 같은 작은 모델은 이 프론티어 모델의 노하우를 증류(distillation)해 만든다. 앞부분은 DeepSeek이 공개한 방식과 상당히 닮았고, 싱킹 모드 퓨전이 알리바바가 얹은 자기만의 수다.

주요 인사이트

• 한국어 성능은 별도 척도로 봐야 한다. 영어 벤치마크에서 앞선 모델이 국내 서비스에서도 앞선다는 보장이 없고, 실제로 한국어 파인튜닝 여부가 선택을 갈라왔다.
• MoE는 큰 모델을 '쓸 수 있게' 만드는 장치다. 메모리에는 전부 올려야 하지만 연산은 일부만 하므로, 같은 품질을 훨씬 적은 계산으로 낼 수 있다.
• 요즘 모델 선택의 기준은 점수보다 함수 호출 지원 여부일 수 있다. MCP와 에이전트 워크플로가 기본 구성이 된 상황에서, 프롬프트 템플릿으로 흉내 낸 함수 호출은 실수가 잦다.
• 추론 모델과 비추론 모델을 같은 표에서 비교하면 착시가 생긴다. Qwen3 4B가 Gemma 3 27B와 견줘 AIME 점수가 두 배 가까이 나오는 것은 모델이 그만큼 크게 앞서서라기보다 추론 영역을 따로 쓰기 때문이다.
• 소형 모델도 실전에서 쓸 만해졌다. 32B급에서 여러 툴을 순서대로 호출하는 작업이 돌아가고, 8B가 128K 컨텍스트를 지원한다.

자주 묻는 질문

관련 AI 소식