Hermes 로컬 AI 에이전트 세팅 가이드: 하드웨어·모델·메모리·멀티에이전트 총정리

핵심 메시지

• Hermes 에이전트를 어디서 24시간 돌릴지(하드웨어)가 경험을 좌우한다: Mac Studio 같은 전용 기기, 저렴한 VPS, 남는 노트북, 도커로 격리한 개인 PC 등 4가지 선택지를 제시한다.
• 구동 모델은 예산·취향에 따라 다르다: 성능 좋은 Sonnet 5는 API 비용이 비싸고, 발표자는 비용 절감을 위해 로컬 오픈소스 모델(Qwen 계열)을 메인 드라이버로 쓴다.
• 핵심 기능은 툴·통합(MCP)·스킬·크론잡 네 가지이며, 특히 '스킬'은 작업을 반복하며 에이전트가 스스로 또는 사용자 지도로 학습해 재사용된다.
• 메모리는 4단계로 강화한다: 기본 memory/user/soul 파일 → 세션 검색(SQLite) → 외부 메모리 플러그인 Honcho → 옵시디언 '제2의 뇌'.
• 디스코드를 창구로 삼은 멀티에이전트 시스템으로 앱과 워크플로를 병렬로 만들 수 있다.

쉽게 이해하기

데이터·AI 콘텐츠로 알려진 유튜버 Tina Huang이 4개월 넘게 매일 써 온 로컬 AI 에이전트 'Hermes'(Nous Research 제작) 세팅법을 처음부터 끝까지 정리했다. 그는 Mac Studio에서 로컬 모델로 리서치·워크플로·소프트웨어 빌드를 돌리고, 옵시디언 노트를 '제2의 뇌'로 키워 간다고 소개한다. 올바른 초기 세팅이 지속 가능한 활용과 좌절의 갈림길이라는 점을 강조한다.

에이전트를 어디서 24시간 돌릴지가 첫 결정이다. 발표자는 64GB RAM·M4 칩의 Mac Studio를 쓰지만, 월 5~6달러 수준의 VPS, 초기화한 구형 노트북, 도커로 격리한 개인 PC 등 예산에 맞는 4가지 선택지를 제시한다. 개인 PC를 쓸 때는 에이전트가 시스템 전체를 건드리지 못하도록 도커 컨테이너 사용을 강력히 권한다.

설치는 데스크톱 앱이나 터미널로 할 수 있고, 터미널이 익숙하지 않으면 데스크톱 앱이 편하다. 구동 모델로는 Sonnet 5가 가장 낫다는 평이 있지만 구독이 아닌 API 키로만 쓸 수 있어 비용이 크며, 발표자는 Mac Studio에서 도는 로컬 오픈소스 모델(Qwen 계열)을 메인 드라이버로 삼아 무료·프라이빗하게 운용한다.

기능으로는 웹 검색·이미지 생성 같은 내장 '툴', 서드파티 연동을 위한 '통합'과 MCP, 반복 작업 절차를 담아 재사용하는 '스킬', 정해진 시간에 자동 실행되는 '크론잡'을 설명한다. 예로 매일 밤 뉴스 브리핑을 오디오로 만들어 두는 크론잡, 사업 아이디어 평가 절차를 그대로 스킬로 저장해 슬래시 명령으로 재호출하는 사례를 보여준다.

메모리는 기본 3파일(memory/user/soul), 대화 로그를 뒤지는 세션 검색(SQLite), 외부 메모리 플러그인 Honcho, 옵시디언 제2의 뇌까지 4단계로 강화한다. 마지막으로 디스코드를 창구로 여러 에이전트가 병렬로 앱을 만드는 멀티에이전트 데모(포모도로 앱 빌드)를 보여주며, 제대로 세팅하면 훨씬 많은 것을 얻을 수 있다고 마무리한다.

주요 인사이트

• 로컬 모델을 상시 구동하려면 초기 하드웨어 비용이 들지만, 클라우드 모델 의존을 줄여 장기적으로는 더 저렴해질 수 있다는 것이 발표자의 경험이다.
• '스킬'의 핵심은 잘 된 결과물을 그 자리에서 재사용 가능한 절차로 굳혀, 다음부터 슬래시 명령 한 번으로 같은 품질을 재현하는 것이다.
• 기본 메모리는 일부러 짧게 유지해 비대해지지 않게 하고, 더 구체적인 정보는 검색형 2차 메모리로 끌어오는 2단 구조가 속도 저하를 막는다.
• 옵시디언처럼 사람이 읽을 수 있는 마크다운 저장소를 병행하면, 사용자와 에이전트가 같은 지식 베이스를 함께 읽고 이어서 작업할 수 있다.
• 로컬 모델은 Ollama로 쉽게 시작할 수 있고, 더 세밀한 제어·속도를 원하면 그 밑단인 llama.cpp를 직접 쓰는 선택지가 있다.

자주 묻는 질문

관련 AI 소식