AMD 라이젠 AI 맥스+ 395 로컬 AI 후기 — 128GB 통합 메모리로 대형 LLM 구동
AMD 라이젠 AI 맥스+ 395(128GB 통합 메모리) 미니 PC로 GPT-OSS 120B와 Qwen 3.6 같은 대형 오픈웨이트 모델을 로컬에서 돌려본 샘 위트빈의 실사용 후기. 토큰 속도, 이미지·영상 생성, 파인튜닝, 로컬 AI의 비용 이점을 정리했다.
핵심 내용 읽기 →
AI TOPIC
온디바이스 최신 뉴스와 핵심 해설
온디바이스 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
로컬 AI 노트북 실험: VRAM 16GB와 24GB가 가르는 실행 가능한 모델의 경계
같은 사양에 그래픽 메모리 용량만 16GB와 24GB로 다른 노트북 두 대로 로컬 AI 모델을 돌려 비교한 결과, 생성 속도보다 VRAM이 어떤 모델을 아예 실행할 수 있는지를 가른다는 사실이 분명하게 드러났습니다.
핵심 내용 읽기 →
캑터스 니들: 2600만 파라미터 함수 호출 특화 소형 AI 모델 정리
YC 스타트업 캑터스가 공개한 오픈소스 함수 호출 모델 '니들'은 파라미터가 2,600만 개뿐이다. MLP 없이 어텐션만으로 구성한 구조와 엣지 활용법을 살펴본다.
핵심 내용 읽기 →
로컬 AI 변곡점: 온디바이스 모델·하네스·NVIDIA DGX Spark 총정리
엑소랩스·로보플로우·오스만틱 창업자들이 로컬 AI 서밋에서 짚은 온디바이스 AI의 변곡점. 모델과 하네스의 동반 발전, 멀티모델 라우팅, DGX Spark 최적화까지 핵심을 정리했다.
핵심 내용 읽기 →