Ollama 추론 속도 2배 올리는 환경 변수 4가지: 병렬 처리·플래시 어텐션·KV 캐시 양자화·모델 유지 설정법
올라마를 기본 설정 그대로 쓰면 손해다. 병렬 처리, 플래시 어텐션, KV 캐시 양자화, 모델 메모리 유지 시간까지 환경 변수 네 개를 상황에 맞게 조정해 로컬 LLM 추론 속도를 끌어올리는 방법과 각각의 주의점을 정리했다.
핵심 내용 읽기 →
AI TOPIC
올라마 최신 뉴스와 핵심 해설
올라마 관련 핵심 뉴스와 활용 인사이트 6편을 최신순으로 모았습니다.
vLLM vs 올라마 속도 비교: 페이지드어텐션과 연속 배칭 원리부터 실제 측정까지
로컬 LLM 추론 엔진 vLLM이 올라마보다 빠른 이유를 페이지드어텐션과 연속 배칭 원리로 풀어 보고, 같은 모델로 단일 요청과 다중 요청을 직접 비교한 실측 결과와 개인 사용자에게 주는 의미까지 정리했다.
핵심 내용 읽기 →
올라마 Ollama 사용법 — 로컬에서 무료로 LLM 실행하고 API로 연동하기
유료 챗봇 대신 내 PC에서 직접 LLM을 돌리는 오픈소스 도구 올라마의 설치, 모델 실행, HTTP API 연동, 커스텀 모델 제작까지 단계별로 정리했습니다.
핵심 내용 읽기 →
프롬프트 기법 총정리 — 제로샷·퓨샷·생각의 사슬로 LLM 답변 개선하기
올라마 창립 메인테이너가 설명하는 핵심 프롬프트 기법. 제로샷·퓨샷·생각의 사슬 등으로 모델에서 더 나은 답을 끌어내는 원리를 정리했습니다.
핵심 내용 읽기 →
랭그래프+올라마 로컬 AI 에이전트 만들기: 무료 오픈소스 모델로 실습
랭그래프와 올라마, 오픈소스 모델 Qwen3로 API 비용 없이 로컬에서 동작하는 AI 에이전트를 만드는 과정을 정리했습니다. 상태 그래프와 도구 호출 흐름을 설명합니다.
핵심 내용 읽기 →
퓨디파이 오디세우스: 로컬에서 돌리는 오픈소스 AI 작업실 체험기
유튜버 퓨디파이가 공개한 오픈소스 프로젝트 '오디세우스'를 직접 설치해 로컬 모델·API 모델 연결, 모델 비교, 딥리서치 기능을 시험해 본 후기를 정리했다.
핵심 내용 읽기 →