애플 내장 AI 'FM' 속도 테스트 — 맥 미니가 고가 맥 스튜디오와 같은 속도인 이유

핵심 메시지

• macOS 27(코드명 Golden Gate)에는 터미널에서 바로 로컬 LLM을 돌리는 내장 CLI 도구 'FM'이 조용히 들어 있다.
• Ollama·LM Studio·MLX 같은 별도 설치 없이도 OS 안에 무료 로컬 AI 엔드포인트가 마련돼 개발자가 스크립트로 활용할 수 있다.
• FM은 로컬 모델과 애플 클라우드(프라이빗 클라우드 컴퓨트) 두 가지로 실행되며, 클라우드가 로컬보다 약 3배 빨랐다.
• 메모리 대역폭이 3배인 M3 울트라 맥 스튜디오가 M4 프로 맥 미니와 거의 같은 속도가 나왔다.
• 원인은 토큰 생성(디코드) 단계가 M1~M5에 걸쳐 사실상 동일한 16코어 뉴럴 엔진에서 돌기 때문이다.

쉽게 이해하기

영상 제작자는 macOS 27 베타를 올린 맥 미니에서 애플이 조용히 포함한 내장 CLI 'FM'을 발견한다. FM은 OS에 설치되는 순간 터미널에서 바로 쓸 수 있는 로컬 대규모 언어 모델 실행 도구로, Ollama나 LM Studio, MLX 같은 별도 설치가 필요 없다. 사실상 OS 안에 무료·비공개 로컬 AI 엔드포인트가 들어 있는 셈이라 스크립트를 짜거나 그 위에 도구를 얹을 수 있다.

그는 세 가지를 물었다. 실제로 쓸 수 있는가, 얼마나 빠른가, 그리고 더 비싼 하드웨어를 쓰면 더 빨라지는가. 답을 얻으려면 실측이 필요했지만 곧 벽에 부딪혔다. 즐겨 쓰던 LLM 벤치마크 도구는 FM에 대해 초당 60만 토큰 같은 비현실적 수치를 내놨다. 애플 서버가 OpenAI 표준을 완전히 따르지 않아, OpenAI 호환 엔드포인트를 전제한 기존 벤치마크가 기대하는 타이밍 데이터를 돌려주지 않았기 때문이다.

그래서 그는 직접 'Apple FM bench'를 만들어 실측했다. 맥 미니 온디바이스 기준 프롬프트 처리와 디코드(생성) 수치를 얻었고, FM에는 로컬과 클라우드 두 '뇌'가 있으며 사용자가 어느 쪽을 쓸지 지정할 수 있음을 확인했다. 두 방식을 모두 테스트한 결과 클라우드가 로컬보다 약 3배 빨랐지만, 실제 하드웨어에서 돌아가는 로컬 모델이 그의 관심사였다.

핵심 실험은 하드웨어 비교였다. 메모리 대역폭 273GB/s의 M4 프로 맥 미니와 819GB/s의 M3 울트라 맥 스튜디오를 나란히 돌렸다. 대역폭이 3배인 만큼 스튜디오가 압도할 것으로 봤지만, 두 기기의 수치는 거의 같았다. 수천 달러 더 비싼 맥 스튜디오가 더 빠르지 않았던 것이다.

제작자는 원인을 추적한다. 처음엔 뉴럴 엔진(ANE) 가설을 세웠지만 asitop·mactop·powermetrics 같은 측정 도구는 ANE 사용량을 0%로만 표시했다. CoreML로 뉴럴 엔진을 강제로 쓰는 워크로드에서도 계측기는 0을 보여, 도구들이 ANE를 제대로 못 읽는다는 사실이 드러났다. 결국 그는 계측기를 버리고 'FM을 돌리면서 뉴럴 엔진을 최대로 부하 주기, 다시 GPU를 부하 주기'로 어느 엔진이 실제로 쓰이는지 가려냈다. 뉴럴 엔진을 압박하면 FM의 디코드가 느려졌고, GPU를 압박하면 프롬프트 처리가 느려졌다.

결론은 명확했다. FM의 디코드(토큰 생성)는 뉴럴 엔진에서, 프롬프트 처리는 GPU에서 돌아간다. 그런데 16코어 뉴럴 엔진은 M1부터 M5까지 사실상 같은 블록이라, 값비싼 맥 스튜디오의 넉넉한 GPU와 대역폭은 FM에서는 놀고 있었다. 즉 애플 내장 FM만 쓸 거라면 맥 미니가 최고 사양 맥 스튜디오와 같은 경험을 준다. 다만 GPU를 실제로 활용하는 MLX 같은 프레임워크에서는 더 강한 하드웨어가 유효하다. FM은 아직 베타이고 애플 실리콘에서만 동작하며 향후 동작 방식이 바뀔 수 있다는 점도 덧붙인다.

주요 인사이트

• OS에 로컬 LLM이 기본 탑재되면, 별도 런타임 설치 없이도 '무료 로컬 추론 엔드포인트'를 개발 워크플로에 바로 끼워 넣을 수 있다.
• 벤더가 표준(OpenAI 호환)을 완전히 따르지 않으면 기존 벤치마크 도구가 무력화된다. 신뢰할 측정이 없을 때 자체 도구 제작이 대안이 된다.
• LLM 추론은 프롬프트 처리(프리필)와 토큰 생성(디코드) 두 단계로 나뉘며, 각각 다른 하드웨어 블록(GPU와 뉴럴 엔진)에서 병목이 생길 수 있다.
• 디코드가 뉴럴 엔진에 묶이면, 세대 간 거의 동일한 뉴럴 엔진 탓에 상위 기종의 GPU·대역폭 우위가 체감 속도로 이어지지 않는다 — 구매 전 워크로드가 어떤 엔진을 쓰는지 따져야 한다.
• 계측기조차 신뢰할 수 없을 때는, 특정 엔진에 의도적으로 부하를 걸어 성능 저하를 관찰하는 '부하 경쟁' 방식으로 실제 사용 경로를 역추적할 수 있다.

자주 묻는 질문

관련 AI 소식