Ollama 양자화 설정법 정리 — 기본값 Q4_K_M 바꾸기와 허깅페이스 GGUF 모델 직접 등록하기
Ollama는 사용자가 고르지 않아도 Q4_K_M 양자화를 자동으로 적용한다. VRAM 여유에 맞춰 양자화 타입을 바꾸는 방법과, 목록에 없는 타입을 허깅페이스 GGUF 모델로 직접 등록해 쓰는 절차를 정리했다.
핵심 내용 읽기 →
AI TOPIC
로컬 LLM 최신 뉴스와 핵심 해설
로컬 LLM 관련 핵심 뉴스와 활용 인사이트 58편을 최신순으로 모았습니다.
코파일럿·커서 AI 코딩 도구의 현실, 15년차 개발자가 데이터로 짚은 생산성의 진실
코파일럿과 커서를 매일 쓰는 15년차 .NET 개발자가 연구 데이터를 들고 나와, AI 코딩 도구가 실제로는 코드 작성 시간을 줄이는 대신 검토 부담을 키운다는 현실과 컨텍스트 설계의 중요성, 그리고 조직이 이 도구를 도입해야 할 순서까지 정리했다.
핵심 내용 읽기 →
AI 에이전트 메모리 하네스 실험: 랭킹 기반 회상 정책이 정확도와 비용을 동시에 잡았다
사카나 AI 연구원이 로컬 모델 위에서 에이전트 메모리 하네스를 직접 실험했다. 필요한 자료가 컨텍스트에 다 들어가는 작업에서는 비용만 늘었고, 긴 작업에서는 순위를 매기는 회상 정책이 정확도와 비용을 함께 개선했다.
핵심 내용 읽기 →
AI 낙관론 정리: 의료 진단부터 로컬 모델·핵융합까지 NDC 코펜하겐 폐막 강연이 짚은 기술 현황
NDC 코펜하겐 2026 폐막 강연에서 엠즈 렌들이 의료 영상 판독과 맞춤형 유전자 치료, 노트북에서 돌아가는 오픈 모델, 바이브 코딩이 남긴 보안 사고, 태양광 수로와 핵융합 실험까지 낙관할 만한 근거를 하나씩 세어 봤다.
핵심 내용 읽기 →
AirLLM 계층별 추론 정리: 4GB VRAM 그래픽카드에서 Llama3 70B 대형 모델을 실행하는 원리와 실습 한계
고가 GPU 없이는 대형 언어 모델을 못 돌린다는 통념을 흔드는 오픈소스 AirLLM을 소개한다. 계산 순서가 된 계층만 VRAM에 올리는 방식과 4GB로 제한한 환경에서 Llama3 70B를 실행한 실습 결과, 그리고 속도 한계를 함께 정리했다.
핵심 내용 읽기 →
vLLM 도커 설치와 OpenClaw 연동 방법: Ollama 병렬 처리 병목을 해결하는 실습 정리
Ollama의 병렬 처리 한계로 로컬 LLM이 느려질 때 대안이 되는 vLLM을 도커로 설치하고 OpenClaw에 연동하는 전 과정을, GPU 설정과 실행 명령어의 각 옵션, 컨텍스트 길이 조건까지 한국어로 정리했습니다.
핵심 내용 읽기 →
로컬 LLM 선택을 돕는 오픈소스 LLMFit 사용법과 추천 점수의 신뢰도 직접 검증하기
로컬 LLM으로 에이전트를 만들 때 어떤 모델이 내 하드웨어에서 실제로 돌아가는지 고르기 어렵다. 하드웨어를 스캔해 모델을 추천하는 오픈소스 LLMFit의 작동 원리와 한계를 실제 테스트로 확인했다.
핵심 내용 읽기 →
KTransformers와 Ollama 속도 비교: MoE 오프로딩 원리와 가정용 PC 실측 결과 정리
24GB VRAM으로 671B급 모델을 돌린다고 알려진 KTransformers의 MoE 오프로딩 원리를 살펴보고, 가정용 PC에서 Ollama와 추론 속도를 직접 비교한 결과와 그 차이가 생긴 이유를 정리했다.
핵심 내용 읽기 →
vLLM 인자 설정 가이드: VRAM 부족 오류 해결과 추론 속도 극대화 옵션 정리
vLLM은 인자를 제대로 잡지 않으면 속도 이점을 살리지 못한다. VRAM이 모자랄 때 줄여야 할 값과 여유가 있을 때 늘려야 할 값, 오프로딩과 접두 캐싱, 양자화 자동 감지까지 조정 순서대로 정리했다.
핵심 내용 읽기 →
Hermes 에이전트 로컬 LLM 연동법: Ollama·vLLM·SGLang 커스텀 엔드포인트 설정 정리
OpenClaw 대안으로 주목받는 Hermes 에이전트에 내 PC의 로컬 LLM을 붙이는 절차를 정리했다. Ollama와 vLLM, SGLang을 커스텀 엔드포인트로 등록하는 방법과 WSL 주소·API 호환 모드·툴 콜 파서처럼 막히기 쉬운 지점을 짚는다.
핵심 내용 읽기 →
SGLang 서빙 엔진 정리 — RadixAttention으로 vLLM 대비 처리량 6.4배, 어떤 상황에서 써야 하나
SGLang은 요청이 끝나도 KV 캐시를 버리지 않고 트리에 보관해 다른 요청이 재사용하게 만든 서빙 엔진이다. vLLM 대비 처리량 6.4배라는 수치와, 입력이 매번 달라지면 오히려 불리해지는 이유까지 정리했다.
핵심 내용 읽기 →
Ollama 추론 속도 2배 올리는 환경 변수 4가지: 병렬 처리·플래시 어텐션·KV 캐시 양자화·모델 유지 설정법
올라마를 기본 설정 그대로 쓰면 손해다. 병렬 처리, 플래시 어텐션, KV 캐시 양자화, 모델 메모리 유지 시간까지 환경 변수 네 개를 상황에 맞게 조정해 로컬 LLM 추론 속도를 끌어올리는 방법과 각각의 주의점을 정리했다.
핵심 내용 읽기 →
vLLM vs 올라마 속도 비교: 페이지드어텐션과 연속 배칭 원리부터 실제 측정까지
로컬 LLM 추론 엔진 vLLM이 올라마보다 빠른 이유를 페이지드어텐션과 연속 배칭 원리로 풀어 보고, 같은 모델로 단일 요청과 다중 요청을 직접 비교한 실측 결과와 개인 사용자에게 주는 의미까지 정리했다.
핵심 내용 읽기 →
메타 뮤즈 글리머 30B 공개: 아파치 2.0 오픈웨이트와 24GB GPU 로컬 실행 전략
메타가 아파치 2.0 라이선스로 30B 밀집 모델 뮤즈 글리머를 공개했다. 더 큰 모델의 출력을 증류해 학습했고, 공식 4비트 양자화판은 24~32GB 그래픽카드에 맞춰 나왔다. 에이전트용 도구 사용과 다단계 추론이 설계의 중심이다.
핵심 내용 읽기 →
MiniCPM-V 4.6 리뷰: 13억 파라미터 소형 비전 모델로 로컬 AI 에이전트 돌려보기
오픈BMB가 아파치 2.0으로 공개한 13억 파라미터 비전 모델 MiniCPM-V 4.6을 직접 돌려본 리뷰다. 벤치마크 점수보다 출력 토큰을 수십 배 적게 쓴다는 점이 로컬 에이전트에 중요한 이유를 짚는다.
핵심 내용 읽기 →
llama.cpp란 무엇인가: 로컬 LLM 추론 엔진의 GGUF와 양자화 원리 정리
구독료도 사용량 제한도 없이 내 노트북에서 LLM을 돌리는 로컬 추론 엔진 llama.cpp를 IBM 개발자가 설명한다. GGUF 포맷과 모델 양자화, 플랫폼별 최적화 커널, 그리고 로컬 서버 활용법까지 정리했다.
핵심 내용 읽기 →
젬마 4 온디바이스 실사용기: 폰에서 돌리는 로컬 LLM과 에이전트 연결까지 해 본 결과
구글이 상업적 이용까지 허용해 공개한 젬마 4와 함께 나온 초소형 모델을 폰과 PC에서 직접 돌려 본 내용을 정리했다. 오프라인 동작, 에이전트 연결 방법, 그리고 작은 모델의 명확한 한계까지 다뤘다.
핵심 내용 읽기 →
Ollama 임베딩 생성 방법: nomic-embed-text로 RAG 파이프라인 구축하기
RAG 파이프라인에서 임베딩이 하는 역할부터, Ollama에 nomic-embed-text를 설치해 문서 청크를 768차원 벡터로 바꾸는 파이썬 코드까지 단계별로 정리했다. 외부 API 없이 개인 PC에서 처리하는 방법이다.
핵심 내용 읽기 →
LLM 양자화 완전 정리: FP16·INT4 숫자 형식과 GPTQ·AWQ·GGUF의 차이
라마 3.1 70B는 그냥 돌리면 약 140GB 메모리가 필요하다. 양자화가 이 숫자를 어떻게 줄이는지, 자주 뒤섞이는 숫자 형식과 양자화 방법, 파일 형식이 서로 어떻게 다른지, 그리고 정밀도를 낮출 때 실제로 치르는 대가는 무엇인지 정리했다.
핵심 내용 읽기 →
깃허브 코파일럿 사용량 기반 과금 전환: 크레딧 차감, 무료 모델 폴백 폐지와 대응법
깃허브 코파일럿이 묶음 요청 대신 크레딧을 차감하는 사용량 기반 과금으로 바뀌고, 한도를 소진해도 낮은 모델로 내려가던 폴백이 사라진다. 바이브 코딩에 기대 온 사람에게 무엇이 달라지는지 정리했다.
핵심 내용 읽기 →
DGX 스테이션 GB300 실측: 748GB 통합 메모리로 로컬 AI 에이전트 128개 동시 실행
1년 전만 해도 데이터센터에 있던 GB300이 책상 위 워크스테이션이 됐다. 748GB 통합 메모리와 NVFP4 양자화로 대형 모델을 로컬에서 돌리고 에이전트 128개를 동시에 실행한 실측 결과를 정리했다.
핵심 내용 읽기 →
온디바이스 AI 업무 활용법: 업무 분해 매트릭스와 1GB 로컬 LLM으로 보안 문제 넘기
AI로 일을 줄이려다 오히려 일이 늘었다는 사람이 많다. 업무를 세로축·가로축 매트릭스로 쪼개 12가지 AI 스킬에 매핑하는 방법과, 1GB 미만 로컬 LLM 및 VDI 환경 대안으로 보안 제약을 넘는 실무 방법을 정리했다.
핵심 내용 읽기 →
싱킹캡(ThinkingCap) 리뷰 - 추론 토큰 46% 줄인 로컬 코딩 모델의 실체
Qwen3.6 27B를 파인튜닝한 싱킹캡은 정확도를 유지하면서 추론 토큰을 평균 46% 줄였다고 주장한다. 로컬 코딩 모델의 효율 경쟁을 짚었다.
핵심 내용 읽기 →
llama.cpp vs vLLM 차이 정리: 로컬 LLM 엔진 선택 기준과 양자화·연속 배칭 핵심
IBM 테크놀로지가 정리한 로컬 LLM 실행 엔진 비교. 양자화와 GGUF로 개인 PC를 노리는 llama.cpp, 연속 배칭과 페이지드 어텐션으로 대규모 서비스를 노리는 vLLM의 차이를 짚는다.
핵심 내용 읽기 →
AMD 라이젠 AI 할로 2대 클러스터로 400B 로컬 LLM 실행 테스트
128GB 메모리를 가진 소형 AI PC 두 대를 10기가 이더넷으로 묶어 3,580억·3,970억 파라미터 모델을 실제로 돌려본 실험. 두 가지 클러스터 방식과 실제 토큰 속도를 정리했다.
핵심 내용 읽기 →
로컬 오픈소스 AI 모델 효율 경쟁: 파라미터당 임팩트로 본 데스크톱 추론의 현재와 미래 전망
AI Engineer 컨퍼런스 발표에서 아마드 오스만은 오픈소스 모델이 같은 성능을 훨씬 적은 파라미터로 내는 흐름을 짚고, 18개월 뒤 개인용 그래픽카드 한 장에서 돌아갈 지능의 수준을 전망하며 하드웨어 소유의 의미를 따졌다.
핵심 내용 읽기 →
로컬 LLM용 VRAM 확보 비교 - 듀얼 GPU 카드로 192GB를 7천 달러에 채우기
인텔 저가 GPU와 듀얼 GPU 카드로 로컬 LLM용 VRAM을 늘리는 실측 비교. 속도 손실 없이 192GB를 7천 달러에 채우는 조건과 메인보드 슬롯 분기 설정의 함정, 소프트웨어 성숙도 문제를 정리했다.
핵심 내용 읽기 →
Hermes 로컬 AI 에이전트 세팅 가이드: 하드웨어·모델·메모리·멀티에이전트 총정리
유튜버 Tina Huang이 4개월 넘게 써 온 로컬 AI 에이전트 Hermes 세팅법을 공개한다. 하드웨어 선택, 로컬·클라우드 모델, 툴·스킬·크론잡, 4단계 메모리, 디스코드 멀티에이전트 빌드까지 정리했다.
핵심 내용 읽기 →
클로드로 만든 로컬 코딩 인터뷰 트레이너: Ollama·Qwen3로 무료 AI 피드백 앱 제작기
리트코드 스타일의 인터뷰 연습 앱을 클로드로 직접 만든 사례를 소개한다. React·FastAPI에 Ollama 로컬 LLM을 얹어 SQL·파이썬·시스템 설계 문제와 실시간 AI 피드백을 100% 로컬·무료로 제공하는 구조를 짚는다.
핵심 내용 읽기 →
로컬 음성 받아쓰기 앱 직접 만들기 - Whisper와 로컬 LLM으로 구독 없이
클라우드 받아쓰기 도구의 구독을 끊고 100% 로컬로 도는 음성 받아쓰기 앱을 직접 만든 사례. 단축키·음성 캡처·STT·로컬 LLM 정리·커서 삽입으로 이어지는 구조와 로컬이 유리한 이유를 정리했습니다.
핵심 내용 읽기 →
LLM 양자화 비교 실험 — Ollama에서 Q2·Q4·fp16 성능·속도 차이
Ollama 무료 강좌에서 라마 3.1을 Q2·Q4·fp16으로 돌려 답변 품질과 속도를 비교한 결과와, 내 질문으로 직접 판단해야 한다는 교훈을 정리했다.
핵심 내용 읽기 →
AMD 라이젠 AI Max+ 395 Halo 박스 vs 엔비디아 DGX 스파크: 로컬 AI 성능 비교
AMD가 스트릭스 헤일로(라이젠 AI Max+ 395) 칩을 담은 4,000달러 미니 AI 박스를 내놨다. DGX 스파크와의 토큰 생성·프리필 속도, 128GB 통합 메모리, x86·NPU 이점, 사전 설치 소프트웨어까지 실측 비교를 정리했다.
핵심 내용 읽기 →
Ollama 로컬 LLM 실행 가이드: 데이터 프라이버시와 개발자 활용법
클라우드 없이 노트북에서 대형 언어모델을 실행하는 오픈소스 도구 Ollama의 설치·사용법과, 로컬 모델을 애플리케이션에 연동하는 방법을 IBM 기술 영상 내용을 바탕으로 정리했다.
핵심 내용 읽기 →
AMD 스트릭스 헤일로 vs 엔비디아 DGX 스파크: 로컬 LLM 미니 PC 비교와 구매 가이드
1,500달러 AMD 라이젠 AI 맥스+ 미니 PC가 4,700달러 엔비디아 DGX 스파크가 아예 못 올리는 1,200억 파라미터 모델을 구동한다. 통합 메모리·대역폭·소프트웨어 성숙도까지 냉정하게 따져 본 2026년 로컬 AI 머신 선택 기준.
핵심 내용 읽기 →
초소형 AI 워크스테이션 자작 — RTX Pro 4000 SFF로 맥 스튜디오와 성능 비교
버스 전원 RTX Pro 4000 SFF와 ITX 부품으로 백팩에 들어가는 초소형 AI 추론 머신을 Velka 3 케이스에 조립하고, 맥 스튜디오 M3 Ultra와 프리필·디코드 토큰 생성 속도를 실측 비교한 과정을 정리했다.
핵심 내용 읽기 →
AI 양자화 완전정리 — Q2·Q4·Q8과 컨텍스트 양자화로 노트북에서 대형 모델 돌리기
양자화는 모델 가중치의 저장 정밀도를 낮춰 큰 모델을 일반 노트북이나 저사양 하드웨어에서 돌리게 한다. Q2·Q4·Q8과 K-양자화, 컨텍스트(KV 캐시) 양자화의 원리와 메모리 절감 효과를 실측과 함께 정리했다.
핵심 내용 읽기 →
Agents A1: 3B만 도는 35B 로컬 오픈소스 에이전트 AI 모델 완전 정리
상하이 AI 연구소가 공개한 Agents A1은 35B 중 3B만 활성화되는 로컬 에이전트 모델로, 검색·지시이행 벤치마크에서 거대 모델까지 앞선다. 구조와 학습 방식, 설치·활용법을 자세히 정리했다.
핵심 내용 읽기 →
올라마 Ollama 사용법 — 로컬에서 무료로 LLM 실행하고 API로 연동하기
유료 챗봇 대신 내 PC에서 직접 LLM을 돌리는 오픈소스 도구 올라마의 설치, 모델 실행, HTTP API 연동, 커스텀 모델 제작까지 단계별로 정리했습니다.
핵심 내용 읽기 →
AI 영상 모델 양자화 실험: FP16부터 2비트까지 낮춰보니 FP8보다 Q8이 낫고 Q4가 최적점이었다
WaN 2.2와 LTX 2.3 영상 생성 모델을 FP16부터 2비트까지 단계별로 낮춰 비교한 실험. FP8이 같은 비트의 Q8보다 품질이 떨어지고 오디오가 영상보다 먼저 무너지며, 비트 수보다 형식이 중요하다는 결론을 정리했습니다.
핵심 내용 읽기 →
로컬 LLM 속도 최적화: Ollama·llama.cpp 동시성과 다중 인스턴스로 처리량 높이기
혼자 대화할 땐 초당 100~120토큰이지만 코드 에이전트처럼 동시 요청이 몰리면 이야기가 달라진다. Ollama와 llama.cpp의 차이, 동시성·병렬·다중 인스턴스로 로컬 LLM 처리량을 열 배 넘게 끌어올리는 방법을 정리했다.
핵심 내용 읽기 →
Ornith 1.0 설치·사용법: LM Studio로 내 PC에서 돌리는 오픈소스 로컬 코딩 AI
새 오픈소스 코딩 모델 Ornith를 LM Studio로 개인 컴퓨터에서 실행하는 방법을 소개한다. 9B 버전은 VRAM 8GB면 돌아가며, 로컬 실행이라 프라이버시와 비용 면에서 유리하지만 작은 모델이라 복잡한 작업엔 한계가 있다.
핵심 내용 읽기 →
미니 PC 3대로 만든 AI 클러스터 실험 — 한 대로는 못 담는 70B 모델 구동과 메모리 벽의 교훈
인텔 NUC 미니 PC 3대를 묶어 한 대로는 못 담는 70B 밀집 모델을 돌린 실험이다. 모델을 쪼개면 오히려 느려지지만 크기 문제는 풀렸고, 속도의 진짜 병목은 메모리 대역폭이었다. 크기와 속도는 서로 다른 클러스터 전략으로 풀어야 한다.
핵심 내용 읽기 →
Ollama 멀티모달 모델 실습 — LLaVA로 이미지 설명·질의응답·OCR 해보기
올라마(Ollama)로 비전 모델 LLaVA를 내려받아 로컬에서 이미지를 설명하고, 개수·색을 묻고, 글자를 인식시키는 과정을 실습으로 보여준다. VS Code AI 툴킷 연동까지 다룬다.
핵심 내용 읽기 →
로컬 AI 백업 전략 - 클라우드 모델 차단에도 견디는 AI 시스템 만들기
특정 AI 모델이 차단·중단돼도 서비스가 멈추지 않도록, 클라우드 모델과 로컬 모델을 함께 쓰는 이중화 설계를 Mistral OCR과 RAG 예제로 설명한다.
핵심 내용 읽기 →
AI 네이티브 물리 터미널 만들기: 듀얼 디스플레이와 로컬 LLM으로 만든 손안의 AI 기기
물리학 박사 레흐 칼리노프스키가 OLED와 전자종이 듀얼 디스플레이, ESP32 마이크로컨트롤러로 'AI 네이티브' 물리 터미널을 직접 만든 과정을 소개한다. 로컬 LLM 제어부터 텍스트 RPG까지 담았다.
핵심 내용 읽기 →
하이브리드 RAG 실전: Docling·PostgreSQL·로컬 LLM으로 멀티모달 비용 줄이기
문서를 그냥 업로드하면 토큰이 새어 나간다. Docling으로 마크다운 변환 후 청킹하고, 키워드·의미 검색을 결합한 하이브리드 RAG를 프레임워크 없이 구축하는 방법을 정리했다.
핵심 내용 읽기 →
NemoClaw와 로컬 LLM으로 AI 에이전트를 안전하게 배포하는 방법
오픈소스 AI 에이전트 OpenClaw에 엔비디아 NemoClaw의 정책 계층을 씌워, 로컬 LLM과 샌드박스로 권한을 제한해 안전하게 운영하는 방법을 설명한다.
핵심 내용 읽기 →
AI 모델 파인튜닝 입문: Unsloth Studio로 로컬에서 LLM 미세조정·데이터셋 생성
파인튜닝은 작은 LLM을 특정 분야에 특화시키는 기술이다. Unsloth Studio로 로컬에서 모델을 미세조정하고, PDF 한 개로 학습용 데이터셋을 만드는 과정을 정리했다.
핵심 내용 읽기 →
Ollama 완전 정리 — 로컬에서 LLM 실행하기, 비용 절감과 데이터 보안까지
Ollama로 클라우드 없이 내 컴퓨터에서 대형 언어 모델(LLM)을 실행하는 방법을 정리했습니다. 단일 명령어로 모델을 내려받아 추론 서버를 띄우고, 비용 절감과 데이터 보안, 개발 활용까지 IBM이 설명합니다.
핵심 내용 읽기 →
Ollama로 구글 Gemma 로컬 실행, 무료 AI 코딩 어시스턴트 만들기
유료 클로드 코드·코덱스 대신 구글의 오픈소스 모델 Gemma를 Ollama로 로컬 설치해 오프라인에서 쓰는 무료 AI 코딩 어시스턴트 구축법을 정리했다.
핵심 내용 읽기 →
엔비디아 DGX Spark 첫인상 — 손안의 AI 슈퍼컴퓨터로 로컬 LLM 돌리기
엔비디아 DGX 스파크의 사양과 설치 과정, Ollama로 젬마 모델을 로컬에서 구동하고 클로드 코드까지 연결하는 과정을 정리했습니다.
핵심 내용 읽기 →
Ollama·Unsloth로 로컬에서 LLM 파인튜닝하기: LoRA·4비트 양자화 실전
Unsloth와 Llama 3.1로 작은 LLM을 텍스트-투-SQL 작업에 파인튜닝하고, Ollama로 내 컴퓨터에서 직접 실행하는 과정을 데이터셋 선택부터 LoRA 어댑터, 4비트 양자화, 모델 파일까지 단계별로 정리했다.
핵심 내용 읽기 →
로컬 AI 에이전트 구축: Ollama·LangChain·ChromaDB로 RAG 구현하기
OpenAI 계정 없이 내 컴퓨터에서 완전히 로컬로 동작하는 AI 에이전트를 Ollama, LangChain, ChromaDB로 만드는 과정을 RAG 검색 흐름과 함께 정리했다.
핵심 내용 읽기 →
RAG 직접 구현 튜토리얼 — 로컬 GPU에서 검색 증강 생성 파이프라인 만들기
랭체인 같은 프레임워크 없이 파이썬과 파이토치만으로 RAG 파이프라인을 처음부터 만든다. 문서 임베딩과 검색·답변 두 단계로 나눠 로컬 GPU에서 동작 원리를 짚는다.
핵심 내용 읽기 →
오픈소스 AI 모델 실행법 총정리: 로컬·브라우저·관리형 API·VPS 4가지 분류
오픈소스 AI 모델을 돌리는 게 어렵다는 건 옛말이다. 로컬, 브라우저 호스팅, 관리형 추론 API, VPS까지 쉬운 것부터 어려운 것 순으로 4가지 실행 방법과 도구를 정리했다.
핵심 내용 읽기 →
로컬 LLM 실행 도구 5가지 비교: Ollama·llama.cpp·LM Studio·vLLM·MLX LM
Qwen·GLM 같은 오픈 모델을 클라우드 API 없이 내 기기에서 돌리는 다섯 가지 도구를 용도별로 비교한다. 프로토타이핑부터 프로덕션 서빙까지 무엇을 골라야 할지 정리했다.
핵심 내용 읽기 →
Ollama + Gemma 3로 LLM 셀프 호스팅하기 — API 키 없이 내 서버에서 모델 운영하는 법
Ollama 런타임과 Gemma 3 4B 모델로 API 키 없이 직접 LLM을 서버에서 돌리는 방법, 필요한 사양과 스트리밍 채팅 앱 구성, 셀프 호스팅과 호스팅 API의 장단점을 정리한다.
핵심 내용 읽기 →
로컬 LLM 코딩 환경 구축 가이드: VRAM 기준 모델 선택부터 LM Studio·VS Code 설정까지
인터넷 연결과 구독 없이 내 컴퓨터에서 에이전트 코딩을 하는 방법을 정리했다. VRAM 기준 모델 크기 선택, 양자화, LM Studio와 VS Code 연동 설정까지 단계별로 다룬다.
핵심 내용 읽기 →