로컬 LLM 속도 최적화: Ollama·llama.cpp 동시성과 다중 인스턴스로 처리량 높이기
혼자 대화할 땐 초당 100~120토큰이지만 코드 에이전트처럼 동시 요청이 몰리면 이야기가 달라진다. Ollama와 llama.cpp의 차이, 동시성·병렬·다중 인스턴스로 로컬 LLM 처리량을 열 배 넘게 끌어올리는 방법을 정리했다.
핵심 내용 읽기 →
AI TOPIC
llama.cpp 최신 뉴스와 핵심 해설
llama.cpp 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
LLM 양자화 완전정리: FP16·INT8·4비트·GGUF로 모델 크기 80% 줄이기
수백억 파라미터 LLM을 소비자용 하드웨어에서 돌리게 해주는 양자화의 원리를, 부동소수점 표현부터 8비트·4비트 압축, 성능 비교, GGUF·llama.cpp까지 정리합니다.
핵심 내용 읽기 →