메타 뮤즈 글리머 30B 공개: 아파치 2.0 오픈웨이트와 24GB GPU 로컬 실행 전략
메타가 아파치 2.0 라이선스로 30B 밀집 모델 뮤즈 글리머를 공개했다. 더 큰 모델의 출력을 증류해 학습했고, 공식 4비트 양자화판은 24~32GB 그래픽카드에 맞춰 나왔다. 에이전트용 도구 사용과 다단계 추론이 설계의 중심이다.
핵심 내용 읽기 →
AI TOPIC
모델양자화 최신 뉴스와 핵심 해설
모델양자화 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
AMD 라이젠 AI 할로 2대 클러스터로 400B 로컬 LLM 실행 테스트
128GB 메모리를 가진 소형 AI PC 두 대를 10기가 이더넷으로 묶어 3,580억·3,970억 파라미터 모델을 실제로 돌려본 실험. 두 가지 클러스터 방식과 실제 토큰 속도를 정리했다.
핵심 내용 읽기 →