VS Code에 로컬 AI 모델 연결하기: Ollama·BYOK 설정 방법
VS Code의 새 언어 모델 제공자 기능으로 Ollama 로컬 모델과 여러 제공자 키(BYOK)를 연결해 내 PC에서 코딩 에이전트를 돌리는 방법을 정리했습니다.
핵심 내용 읽기 →
AI TOPIC
Ollama 최신 뉴스와 핵심 해설
Ollama 관련 핵심 뉴스와 활용 인사이트 25편을 최신순으로 모았습니다.
클로드로 만든 로컬 코딩 인터뷰 트레이너: Ollama·Qwen3로 무료 AI 피드백 앱 제작기
리트코드 스타일의 인터뷰 연습 앱을 클로드로 직접 만든 사례를 소개한다. React·FastAPI에 Ollama 로컬 LLM을 얹어 SQL·파이썬·시스템 설계 문제와 실시간 AI 피드백을 100% 로컬·무료로 제공하는 구조를 짚는다.
핵심 내용 읽기 →
랭체인 커스텀 툴 만들기: LLM이 API를 호출하는 도구 연동 실습
랭체인(LangChain)의 tool 데코레이터로 커스텀 도구를 만들고, 로컬 라마(Ollama) LLM이 사용자 질문에 따라 그 도구를 호출하게 하는 과정을 단계별로 정리했다.
핵심 내용 읽기 →
AI 에이전트 메모리 구현: LangGraph 단기 기억과 스레드 ID로 대화 기억시키기
AI 에이전트가 대화를 기억하게 만드는 단기 메모리를 LangGraph의 InMemorySaver와 스레드 ID로 구현하는 방법을, 6가지 메모리 유형과 함께 코드로 정리했다.
핵심 내용 읽기 →
LangChain AI 에이전트 만들기: 프롬프트 템플릿·커스텀 도구·Ollama 실습 가이드
LangChain으로 첫 AI 에이전트를 직접 코딩하는 실습. 프롬프트 템플릿의 역할, 커스텀 도구 4개 정의, create agent와 Ollama 로컬 LLM 연결, 그리고 응답 메시지에서 도구 호출을 읽어내는 과정을 단계별로 정리했다.
핵심 내용 읽기 →
로컬 음성 받아쓰기 앱 직접 만들기 - Whisper와 로컬 LLM으로 구독 없이
클라우드 받아쓰기 도구의 구독을 끊고 100% 로컬로 도는 음성 받아쓰기 앱을 직접 만든 사례. 단축키·음성 캡처·STT·로컬 LLM 정리·커서 삽입으로 이어지는 구조와 로컬이 유리한 이유를 정리했습니다.
핵심 내용 읽기 →
LLM 양자화 비교 실험 — Ollama에서 Q2·Q4·fp16 성능·속도 차이
Ollama 무료 강좌에서 라마 3.1을 Q2·Q4·fp16으로 돌려 답변 품질과 속도를 비교한 결과와, 내 질문으로 직접 판단해야 한다는 교훈을 정리했다.
핵심 내용 읽기 →
Ollama 로컬 LLM 실행 가이드: 데이터 프라이버시와 개발자 활용법
클라우드 없이 노트북에서 대형 언어모델을 실행하는 오픈소스 도구 Ollama의 설치·사용법과, 로컬 모델을 애플리케이션에 연동하는 방법을 IBM 기술 영상 내용을 바탕으로 정리했다.
핵심 내용 읽기 →
AI 양자화 완전정리 — Q2·Q4·Q8과 컨텍스트 양자화로 노트북에서 대형 모델 돌리기
양자화는 모델 가중치의 저장 정밀도를 낮춰 큰 모델을 일반 노트북이나 저사양 하드웨어에서 돌리게 한다. Q2·Q4·Q8과 K-양자화, 컨텍스트(KV 캐시) 양자화의 원리와 메모리 절감 효과를 실측과 함께 정리했다.
핵심 내용 읽기 →
클로드 코드를 로컬 오픈소스 모델로 무료로 쓰기: Ollama 연동 방법과 GPU·속도 한계
유료 클로드 모델 대신 Ollama로 로컬 오픈소스 모델을 돌려 클로드 코드에 무료로 연결하는 방법을 정리했다. GPU 요구 사항, 지원 모델 선택, 실제 코드 생성 시연과 속도·품질의 한계까지 짚는다.
핵심 내용 읽기 →
로컬 LLM 속도 최적화: Ollama·llama.cpp 동시성과 다중 인스턴스로 처리량 높이기
혼자 대화할 땐 초당 100~120토큰이지만 코드 에이전트처럼 동시 요청이 몰리면 이야기가 달라진다. Ollama와 llama.cpp의 차이, 동시성·병렬·다중 인스턴스로 로컬 LLM 처리량을 열 배 넘게 끌어올리는 방법을 정리했다.
핵심 내용 읽기 →
LLM 명령어 파인튜닝 직접 구현: 알파카 템플릿, 패딩 마스킹, Ollama 평가
세바스찬 라슈카가 사전학습된 GPT-2를 명령어를 따르는 비서 모델로 파인튜닝하는 과정을, 데이터셋 준비와 패딩 마스킹부터 학습, 그리고 Ollama를 이용한 자동 평가까지 코드로 차근차근 보여 줍니다.
핵심 내용 읽기 →
Ollama 멀티모달 모델 실습 — LLaVA로 이미지 설명·질의응답·OCR 해보기
올라마(Ollama)로 비전 모델 LLaVA를 내려받아 로컬에서 이미지를 설명하고, 개수·색을 묻고, 글자를 인식시키는 과정을 실습으로 보여준다. VS Code AI 툴킷 연동까지 다룬다.
핵심 내용 읽기 →
랭그래프+올라마 로컬 AI 에이전트 만들기: 무료 오픈소스 모델로 실습
랭그래프와 올라마, 오픈소스 모델 Qwen3로 API 비용 없이 로컬에서 동작하는 AI 에이전트를 만드는 과정을 정리했습니다. 상태 그래프와 도구 호출 흐름을 설명합니다.
핵심 내용 읽기 →
Ollama 완전 정리 — 로컬에서 LLM 실행하기, 비용 절감과 데이터 보안까지
Ollama로 클라우드 없이 내 컴퓨터에서 대형 언어 모델(LLM)을 실행하는 방법을 정리했습니다. 단일 명령어로 모델을 내려받아 추론 서버를 띄우고, 비용 절감과 데이터 보안, 개발 활용까지 IBM이 설명합니다.
핵심 내용 읽기 →
Ollama로 구글 Gemma 로컬 실행, 무료 AI 코딩 어시스턴트 만들기
유료 클로드 코드·코덱스 대신 구글의 오픈소스 모델 Gemma를 Ollama로 로컬 설치해 오프라인에서 쓰는 무료 AI 코딩 어시스턴트 구축법을 정리했다.
핵심 내용 읽기 →
엔비디아 DGX Spark 첫인상 — 손안의 AI 슈퍼컴퓨터로 로컬 LLM 돌리기
엔비디아 DGX 스파크의 사양과 설치 과정, Ollama로 젬마 모델을 로컬에서 구동하고 클로드 코드까지 연결하는 과정을 정리했습니다.
핵심 내용 읽기 →
Ollama·Unsloth로 로컬에서 LLM 파인튜닝하기: LoRA·4비트 양자화 실전
Unsloth와 Llama 3.1로 작은 LLM을 텍스트-투-SQL 작업에 파인튜닝하고, Ollama로 내 컴퓨터에서 직접 실행하는 과정을 데이터셋 선택부터 LoRA 어댑터, 4비트 양자화, 모델 파일까지 단계별로 정리했다.
핵심 내용 읽기 →
로컬 AI 에이전트 구축: Ollama·LangChain·ChromaDB로 RAG 구현하기
OpenAI 계정 없이 내 컴퓨터에서 완전히 로컬로 동작하는 AI 에이전트를 Ollama, LangChain, ChromaDB로 만드는 과정을 RAG 검색 흐름과 함께 정리했다.
핵심 내용 읽기 →
LLM 파인튜닝 입문: Unsloth·Colab·Ollama로 맞춤 모델 만들기
파인튜닝이 무엇이고 언제 해야 하는지부터, 데이터 준비·Unsloth·Google Colab 학습·GGUF 내보내기·Ollama 실행까지 맞춤 LLM을 만드는 전 과정을 단계별로 정리했다.
핵심 내용 읽기 →
로컬 AI 모델 입문 가이드: 클라우드와의 차이, 필요한 하드웨어와 모델 선택
ChatGPT·클로드 같은 클라우드 AI와 달리 내 컴퓨터에서 직접 돌리는 로컬 AI 모델의 장단점, 필요한 하드웨어, Qwen·Nemotron 같은 모델 선택과 '두뇌-근육' 하이브리드 활용법을 정리했다.
핵심 내용 읽기 →
오픈소스 AI 모델 실행법 총정리: 로컬·브라우저·관리형 API·VPS 4가지 분류
오픈소스 AI 모델을 돌리는 게 어렵다는 건 옛말이다. 로컬, 브라우저 호스팅, 관리형 추론 API, VPS까지 쉬운 것부터 어려운 것 순으로 4가지 실행 방법과 도구를 정리했다.
핵심 내용 읽기 →
거대언어모델(LLM) 선택 가이드: 리더보드부터 Ollama 로컬 실행·RAG까지
IBM 개발자가 상용 모델과 Llama·Mistral 같은 오픈소스 모델을 비교·평가하는 법을 정리했다. 리더보드 3종 활용과 Ollama로 모델을 로컬 실행해 RAG·코딩까지 검증하는 과정을 담았다.
핵심 내용 읽기 →
로컬 LLM 실행 도구 5가지 비교: Ollama·llama.cpp·LM Studio·vLLM·MLX LM
Qwen·GLM 같은 오픈 모델을 클라우드 API 없이 내 기기에서 돌리는 다섯 가지 도구를 용도별로 비교한다. 프로토타이핑부터 프로덕션 서빙까지 무엇을 골라야 할지 정리했다.
핵심 내용 읽기 →
Ollama + Gemma 3로 LLM 셀프 호스팅하기 — API 키 없이 내 서버에서 모델 운영하는 법
Ollama 런타임과 Gemma 3 4B 모델로 API 키 없이 직접 LLM을 서버에서 돌리는 방법, 필요한 사양과 스트리밍 채팅 앱 구성, 셀프 호스팅과 호스팅 API의 장단점을 정리한다.
핵심 내용 읽기 →