Hermes 에이전트 로컬 LLM 연동법: Ollama·vLLM·SGLang 커스텀 엔드포인트 설정 정리
OpenClaw 대안으로 주목받는 Hermes 에이전트에 내 PC의 로컬 LLM을 붙이는 절차를 정리했다. Ollama와 vLLM, SGLang을 커스텀 엔드포인트로 등록하는 방법과 WSL 주소·API 호환 모드·툴 콜 파서처럼 막히기 쉬운 지점을 짚는다.
핵심 내용 읽기 →
AI TOPIC
SGLang 최신 뉴스와 핵심 해설
SGLang 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
SGLang 서빙 엔진 정리 — RadixAttention으로 vLLM 대비 처리량 6.4배, 어떤 상황에서 써야 하나
SGLang은 요청이 끝나도 KV 캐시를 버리지 않고 트리에 보관해 다른 요청이 재사용하게 만든 서빙 엔진이다. vLLM 대비 처리량 6.4배라는 수치와, 입력이 매번 달라지면 오히려 불리해지는 이유까지 정리했다.
핵심 내용 읽기 →