오픈소스 AI 모델 실행법 총정리: 로컬·브라우저·관리형 API·VPS 4가지 분류

핵심 메시지

• 오픈소스 AI 모델을 돌리려면 고성능 하드웨어와 코딩 실력이 필요하다는 통념은 더 이상 사실이 아니며, 업계는 오픈소스로 옮겨가고 있다.
• 실행 방법은 로컬, 브라우저·호스팅 플레이그라운드, 관리형 추론 API, VPS의 4가지 주요 분류로 나뉘며 쉬운 것부터 어려운 것 순이다.
• 로컬 실행은 Ollama 같은 앱으로 2분이면 시작할 수 있고, 16GB 맥북에어로도 4B·8B급 소형 모델은 무리 없이 돌아간다.
• 직접 호스팅하기 싫고 빠르게 만들고 싶다면 Groq·Together·Fireworks 같은 추론 제공업체의 API 키만 호출하면 되는데, 폐쇄형 모델 쓰는 방식과 똑같다.
• 진지하게 구축한다면 월 5달러대 VPS를 빌려 여러 모델·앱을 24시간 돌리고, 필요하면 GPU를 시간 단위로 따로 빌릴 수 있다.

쉽게 이해하기

영상은 오픈소스 AI 모델을 돌리는 일이 어렵다는 인식이 몇 달 전이라면 모를까 지금은 사실이 아니라고 말한다. 오픈소스 모델은 아키텍처·가중치·학습/추론 코드 등 핵심 구성요소가 공개된 모델을 뜻하며, 이제 폐쇄형 모델 못지않게 성능이 좋아졌다는 점을 출발점으로 삼는다.

발표자는 오픈소스 모델을 쓰는 세 가지 이점으로 실행 위치를 완전히 통제할 수 있다는 점(로컬·엣지·프라이빗 클라우드), 파인튜닝·아키텍처 수정·가드레일 추가 등 커스터마이즈가 가능하다는 점, 그리고 가장 중요한 무료 사용으로 장기적으로(특히 대규모에서) 비용이 훨씬 낮다는 점을 꼽는다.

첫 번째 분류는 로컬 실행이다. Ollama 같은 데스크톱 앱을 내려받아 모델을 고르면 2분 만에 대화를 시작할 수 있고, 자신의 코드에서 쓰려면 Ollama의 기본 포트(localhost 11434)를 호출하면 된다. 노트북이 꺼지거나 무거운 작업을 동시에 하면 끊길 수 있어, 많은 이들이 맥미니를 24시간 켜 두고 더 큰 모델까지 돌린다고 소개한다. 더 나아가 Cloudflare 터널로 인터넷에 공개하거나 Unsloth로 로컬 파인튜닝까지 할 수 있다.

두 번째는 브라우저·호스팅 플레이그라운드로, 가장 쉬운 방식이다. 누군가 이미 모델을 내려받아 호스팅해 두어 그냥 접속해 쓰면 된다. 발표자는 Groq 같은 사이트나 Hugging Face Spaces에서 가입 없이 무료로 모델을 비교·실험할 수 있다고 소개하되, 비공개가 아니므로 입력하는 내용에 주의하라고 당부한다. 교육용으로는 무료 T4 GPU를 빌려 주는 Google Colab 노트북이 유용하지만 세션 만료·비공개성·속도 제한이라는 단점이 있다고 짚는다.

세 번째는 관리형 추론 API, 네 번째는 VPS다. 추론 API는 Groq·Together·Fireworks 같은 업체가 모델을 호스팅해 주므로 API 키만 받아 코드에서 호출하고 Railway·Vercel 등으로 배포하면 되어, 인프라를 건드리기 싫은 인디 해커·스타트업에 맞다. VPS는 월 5달러대로 가상 서버를 빌려 여러 모델·앱을 직접 운영하는 방식으로, 의료·법률·금융처럼 데이터 통제가 중요한 분야에 적합하다. 영상은 마지막으로 관리형 클라우드(자동 확장)와 온디바이스·엣지(앱에 모델 탑재)라는 두 가지 고급 보너스 분류도 덧붙인다.

주요 인사이트

• 하드웨어 장벽이 생각보다 낮다. 발표자는 16GB 메모리의 M4 맥북에어로 4B 모델은 문제없이, 대부분의 8B 모델도(동시에 영상 편집 같은 무거운 작업만 하지 않으면) 돌릴 수 있다고 밝힌다.
• 맥미니로 모델을 돌리는 것은 '다른 워크플로'가 아니라 로컬 실행과 똑같은 방식이다. 다만 24시간 켜 둘 수 있어 끊김이 없고 노트북보다 강력해 더 큰 모델을 돌릴 수 있다는 차이가 있다.
• 무료 GPU에는 대가가 따른다. Colab의 무료 T4는 세션이 만료되면 저장하지 않은 결과(파인튜닝한 모델 포함)가 사라지고, 입력 데이터가 구글로 가며, 속도 제한이 걸린다.
• 관리형 추론 API를 쓰는 워크플로는 폐쇄형 AI를 쓸 때와 똑같이 API 키를 호출하는 방식이다. 즉 모델만 오픈소스로 바꾸면 기존 개발 방식을 거의 그대로 재사용할 수 있다.
• 로컬과 VPS를 결합하면 비용과 보안을 모두 잡을 수 있다. 모델은 로컬(예: 맥미니)에서 안전하게 돌리고 앱은 VPS에 올린 뒤 Tailscale로 연결하면 GPU 임대 없이 월 5달러대로 운영 가능하다.

자주 묻는 질문

관련 AI 소식