AMD 라이젠 AI 맥스+ 395 로컬 AI 후기 — 128GB 통합 메모리로 대형 LLM 구동

핵심 메시지

• 라이젠 AI 맥스+ 395는 CPU와 GPU가 128GB LPDDR5X를 함께 쓰는 통합 메모리 구조라, 32GB 전용 GPU로는 올릴 수 없던 GPT-OSS 120B 같은 대형 모델을 로컬에서 구동할 수 있다.
• VRAM 배분량을 사용자가 직접 조절할 수 있어(영상에서는 75%를 GPU에 할당) 메모리 대부분을 모델 로딩에 쓸 수 있다.
• GPT-OSS 120B는 약 30토큰/초, Qwen 3.6 35B MoE는 50토큰/초 이상으로, 전용 GPU만큼 빠르진 않지만 채팅·RAG·에이전트 용도로는 실용적인 속도다.
• 이미지·영상 생성(Comfy UI), 파인튜닝(Unsloth), 로컬 에이전트(Hermes)를 박스 하나에서 24시간 돌려도 API·토큰 비용 없이 전기료만 든다.
• AMD가 후원한 영상이지만, 소개된 모든 데모는 발표자가 직접 이 기기에서 실행한 결과라고 밝혔다.

쉽게 이해하기

샘 위트빈은 앞서 32GB 전용 GPU(Radeon AI Pro R9700) 워크스테이션으로 로컬 AI를 다뤘지만, 32GB를 넘어가는 모델은 올릴 수 없다는 한계가 있었다고 말한다. 이번에 소개하는 AMD 라이젠 AI 'Halo' 미니 PC는 128GB LPDDR5X 통합 메모리를 갖춰, 이전에는 못 돌리던 GPT-OSS 120B나 더 큰 Qwen 3 계열 모델도 로컬에서 구동할 수 있다.

핵심은 아키텍처 차이다. 전용 GPU는 전용 VRAM이 빠르지만 그 용량을 넘으면 시스템 RAM으로 레이어를 넘겨야 하고 이때 토큰 속도가 급락한다. 반면 이 기기는 CPU와 GPU가 하나의 메모리 풀을 공유하는 통합 메모리를 쓰고, 사용자가 GPU에 얼마를 할당할지 직접 정할 수 있다. 영상에서는 75%를 GPU가 공유하도록 설정해 대부분의 메모리를 모델에 쓴다.

칩은 라이젠 AI 맥스+ 395로 CPU 16코어, FP16 기준 약 60테라플롭스의 Radeon 8060S GPU, 약 50TOPS의 NPU를 갖췄다(현재 대부분의 LLM 스택은 아직 NPU를 활용하지 않는다). AMD는 최대 192GB 메모리를 지원하는 Pro 495 버전도 예고했다. 리눅스 버전은 ROCm·드라이버가 미리 설정돼 있고, AMD 라이젠 AI 개발자 센터와 Comfy UI·LM Studio·Unsloth 파인튜닝, 커스텀 GPU 커널 작성까지 다루는 플레이북이 기본 제공된다.

LLM 데모에서 9B 밀집 모델(Ornith 9B)은 초당 약 40토큰, 3B만 활성화되는 Qwen 3.6 35B MoE는 50토큰/초 이상을 냈다. 사전 설치된 GPT-OSS 120B는 약 30토큰/초로, 전용 GPU 기기보다는 느리지만 채팅과 RAG 용도로는 무난하다고 평가한다. 에이전트처럼 빠른 응답이 필요하면 더 작고 빠른 모델을 권한다.

발표자는 이 기기의 큰 매력으로 '밤새 돌려도 전기료뿐'인 비용 구조를 든다. Comfy UI로 Qwen 이미지 모델을 이미지당 약 19~20초에 렌더링하고, LLM이 만든 프롬프트로 수백 장을 자동 생성한 뒤 LTX 영상 모델로 짧은 클립을 뽑는 식으로 API 과금 없이 대량 생성·큐레이션이 가능하다. Hermes 로컬 에이전트를 LM Studio 위에서 24시간 돌리고, 통합 메모리 덕에 여러 모델을 동시에 올려 스킬별로 다른 모델을 쓸 수도 있다.

주요 인사이트

• 통합 메모리는 전용 VRAM보다 대역폭 측면의 트레이드오프가 있지만, '더 큰 모델을 아예 올릴 수 있다' 또는 '여러 모델을 동시에 올릴 수 있다'는 점에서 로컬 대형 모델 사용자에게 실질적 이득을 준다.
• 로컬 AI의 경쟁력은 절대 속도보다 비용 구조에 있다. 생성형 작업은 결국 대량 생성 후 큐레이션이 핵심인데, 토큰·API 과금 없이 밤새 돌릴 수 있으면 실험 반복 비용이 사실상 사라진다.
• 소형 모델의 품질이 세대마다 이전 대형 모델 수준으로 올라오고(예: Gemma 4), 스페큘러티브 디코딩 같은 기법이 발전하면서, 같은 하드웨어에서 로컬로 할 수 있는 일의 범위가 계속 넓어지고 있다.
• 이 기기는 트랜스포머·vLLM을 직접 다루는 하드코어 사용자보다는, 자기 책상에서 모델을 로컬로 돌리고 싶은 애호가·개발자에게 특히 잘 맞는 '즉시 사용 가능한' 셋업을 지향한다.

자주 묻는 질문

관련 AI 소식