로컬 LLM 실행 도구 5가지 비교: Ollama·llama.cpp·LM Studio·vLLM·MLX LM

핵심 메시지

• Qwen, Kimi, GLM 같은 오픈 모델이 충분히 강력해져, 이제 호스팅 API 없이도 개인 기기에서 LLM을 돌릴 수 있다.
• llama.cpp는 CPU·GPU·애플 실리콘에서 동작하는 경량 추론 엔진으로, 대부분의 로컬 도구가 그 위에 세워졌고 GGUF 파일 포맷의 토대가 됐다.
• 용도가 다르면 도구도 다르다: 빠른 개발은 Ollama, 일반 사용자는 LM Studio, 프로덕션 서빙은 vLLM, 애플 실리콘은 MLX LM이 적합하다.
• GGUF의 양자화(4비트 이하까지) 덕분에 큰 모델도 일반 소비자 하드웨어에 들어갈 수 있게 됐다.

쉽게 이해하기

영상은 오픈 모델의 성능이 빠르게 올라오면서, 더 이상 외부에 호스팅된 API에만 의존하지 않아도 되는 상황을 출발점으로 삼는다. 모델을 내 노트북에서 직접 실행하면 대화 내용이나 데이터를 외부에 노출하지 않아도 된다는 프라이버시 이점이 핵심 동기로 제시된다.

llama.cpp는 이 생태계의 바닥을 이루는 C++ 추론 엔진이다. 맥북에서 라마를 돌려보려던 사이드 프로젝트로 시작해 다른 로컬 도구들이 기대는 토대가 됐다. 함께 만든 GGUF 포맷은 가중치·토크나이저·메타데이터를 한 파일에 담고 4비트 이하 양자화까지 지원해, 큰 모델을 일반 하드웨어에 올릴 수 있게 한다. 가장 가벼운 런타임이 필요하거나 엣지 기기·전용 GPU 없는 노트북에 배포할 때 적합하다.

Ollama는 llama.cpp를 감싸 개발자 도구로 만든 것이다. 모델 다운로드, 양자화 선택, 로컬 서버 실행을 자동으로 처리해 명령 한 줄로 모델을 받아 바로 대화할 수 있다. 서버가 OpenAI 호환 API를 제공해, 기존 OpenAI 클라이언트에서 베이스 URL만 바꾸면 그대로 연동된다. 모델 선택에서 코드 호출까지 가장 빠른 경로라, AI 시스템을 시제품으로 만드는 엔지니어들이 흔히 출발점으로 삼는다.

LM Studio는 터미널이나 설정 파일 없이 GUI로 LLM을 돌리는 데스크톱 앱이다. 내부적으로 llama.cpp를 쓰되, 다운로드 전에 하드웨어 요구사항·양자화 옵션·GPU 오프로드 설정을 보여주고 기기에 비해 모델이 크면 미리 경고한다. 앱 안에서 Hugging Face를 둘러보며 여러 양자화 버전을 받아 재시작 없이 전환할 수 있어, 모델을 비교하려는 일반 사용자에게 가장 쉬운 선택지다.

vLLM은 여러 사용자를 동시에 처리하는 프로덕션 서빙용 엔진이다. 페이지드 어텐션으로 KV 캐시를 고정 크기 블록으로 쪼개 GPU 메모리 낭비를 줄이고, 연속 배칭으로 빈 자리가 생기는 즉시 새 요청을 진행 중인 배치에 끼워 넣어 처리량을 크게 높인다. 비슷한 대안으로 버클리 LMCS 팀의 SGLang이 있는데, 래딕스 어텐션으로 공통 프롬프트 접두부를 캐싱해 RAG·멀티턴 대화에 특히 빠르다. 한편 MLX LM은 애플이 M 시리즈 칩용으로 만든 도구로, CPU와 GPU가 큰 메모리 풀을 공유하는 구조를 활용해 일반 PC라면 여러 고가 GPU가 필요한 모델도 한 대의 맥에 올린다.

주요 인사이트

• 도구 선택의 기준은 성능 순위가 아니라 용도다. 같은 모델이라도 프로토타이핑이냐, 일반 사용이냐, 실제 트래픽 서빙이냐에 따라 적합한 런타임이 달라진다.
• llama.cpp와 GGUF가 사실상 표준 토대가 되면서, 양자화로 큰 모델을 소비자 하드웨어에 맞추는 것이 로컬 실행을 가능케 한 결정적 요소가 됐다.
• vLLM과 SGLang의 속도는 마법이 아니라 메모리·스케줄링 기법(페이지드 어텐션, 연속 배칭, 래딕스 어텐션)에서 나온다. SGLang은 xAI와 다수 DeepSeek 배포가 프로덕션에서 쓴다고 소개된다.
• 애플 실리콘의 통합 메모리 구조는 단순한 편의가 아니라, PC에서 여러 GPU가 필요할 모델을 한 대의 맥에 올릴 수 있게 하는 실질적 이점이다.
• 2년 전만 해도 비현실적이던 프런티어급 모델의 개인 기기 실행이, 이제 이 다섯 도구 중 무엇으로든 한 시간 안에 가능해졌다.

자주 묻는 질문

관련 AI 소식