젬마 병렬 에이전트 데모 — 로컬 멀티 에이전트로 동시 작업 처리

핵심 메시지

• 오케스트레이터 에이전트가 하나의 상위 명령을 받아 작업을 나눠 10개의 독립적인 하위 에이전트로 위임한다.
• 이미지를 하나씩 만드는 대신, 배치 처리 능력을 활용해 하위 에이전트들을 단일 로컬 머신에서 병렬로 실행한다.
• 데모에서는 우주·SF 테마의 SVG를 동시에 코딩해 하나의 완성된 SVG 아트 갤러리로 모아낸다.
• 여러 작업을 동시에 처리하면서 초당 170토큰이 넘는 속도를 보였다고 소개한다.
• 같은 방식을 확장하면 대규모 기업 과제를 병렬로 분해하거나, GPU 한두 대로 50명 사무실에 로컬·프라이빗 챗봇을 제공할 수 있다고 제안한다.

쉽게 이해하기

이 영상은 젬마 모델을 로컬에서 실행하는 병렬 에이전트 데모를 보여준다. 사용자가 “우주 또는 SF 테마로 고유한 SVG 조각들을 생성하라”는 간단한 상위 명령을 내리면, 오케스트레이터 에이전트가 이 프롬프트를 받아 작업을 나눈다. 핵심은 이미지를 하나씩 순차적으로 만드는 대신, 서로 독립적인 10개의 하위 에이전트를 띄워 작업을 분산한다는 점이다.

영상에 따르면 이 하위 에이전트들은 배치 처리 능력 덕분에 단일 로컬 머신에서 병렬로 실행된다. 모델 배칭을 활용해 로컬 머신이 무거운 연산을 효율적으로 처리하며, 여러 작업을 동시에 수행하는 중에도 초당 170토큰이 넘는 속도를 냈다고 소개한다. 각 에이전트가 맡은 하위 과제를 처리하고 나면, 결과가 자연스럽게 하나로 모여 완성된 SVG 아트 갤러리로 사용자에게 전달된다.

영상은 이 방식을 각자의 업무로 확장해 보라고 권한다. 10개 이상의 에이전트 하네스를 병렬로 띄워 거대한 기업 과제를 즉시 분해해 풀거나, GPU 한두 대만으로 50명 규모 사무실 전체에 완전히 로컬에서 도는 프라이빗 챗봇 기능을 제공하는 그림을 예로 든다. 발표자는 이를 로컬 병렬 AI의 새로운 기준이라고 표현한다.

주요 인사이트

• 핵심 아이디어는 하나의 명령을 오케스트레이터가 여러 하위 에이전트로 위임해 순차 처리 대신 병렬 처리로 바꾸는 것이다.
• 모델 배칭을 활용하면 여러 에이전트를 클라우드가 아니라 단일 로컬 머신에서 동시에 돌릴 수 있다는 점을 데모가 강조한다.
• 모든 처리가 로컬에서 이뤄지므로, GPU 한두 대만으로도 사무실 규모의 프라이빗 챗봇을 구축할 수 있다는 프라이버시·비용 측면의 이점을 제시한다.

자주 묻는 질문

관련 AI 소식