그래프 엔지니어링이란 — AI 에이전트 100개를 DAG로 병렬 실행하는 방식과 토큰 비용

핵심 메시지

• 딥 리서치 요청 하나를 처리할 때 단일 에이전트가 아니라 100개가 넘는 에이전트가 여러 단계로 나뉘어 움직인다.
• 이 워크플로는 요청마다 새로 생성되는 자바스크립트 코드이며, 그 코드 자체가 에이전트를 띄우는 런타임 역할을 한다.
• 노드와 엣지로 이뤄진 그래프 개념은 1736년 오일러의 쾨니히스베르크 다리 문제에서 출발했고, 실행이 되돌아가지 않는 형태를 DAG(방향성 비순환 그래프)라 부른다.
• 병렬 실행으로 시간을 아끼고 에이전트마다 독립된 컨텍스트 창을 줘 관심사를 분리하는 것이 그래프 방식의 이점이다.
• 달라진 것은 그래프가 아니라 노드의 능력이다. 노드가 단순한 LLM 호출에서 도구와 하네스를 갖춘 온전한 에이전트로 바뀌면서 병목이 노드에서 엣지로 옮겨 갔다.

쉽게 이해하기

이 영상은 코딩 에이전트에게 특정 주제의 딥 리서치를 맡겼을 때 내부에서 실제로 벌어지는 일을 뜯어보며 시작한다. 겉보기에는 하나의 에이전트가 조사를 처리하는 것 같지만, 실제로는 100개가 넘는 에이전트가 여러 단계로 나뉘어 생성된다. 더 흥미로운 점은 이 워크플로가 즉석에서 만들어진 427줄짜리 자바스크립트 코드이고, 그 코드가 곧 에이전트들을 띄우는 실행 환경 역할을 한다는 것이다.

영상에서 든 예시의 구성은 이렇다. 요구사항의 범위를 정하는 에이전트 1개, 하위 주제별로 신뢰할 만한 웹사이트를 모으는 에이전트 5개, 실제로 정보를 가져와 다음 단계로 넘기는 에이전트 25개, 사실을 검증하고 신뢰도를 투표하는 에이전트 75개, 마지막으로 전체 보고서를 작성하는 에이전트 1개다. 요청이 바뀔 때마다 새 워크플로가 생성되고 에이전트 수도 달라진다.

제작자는 여기서 그래프라는 개념의 뿌리로 거슬러 올라간다. 1736년 스위스의 박식가 레온하르트 오일러는 쾨니히스베르크라는 도시의 두 본토와 두 섬을 잇는 일곱 개의 다리를 각각 정확히 한 번씩만 건너는 경로가 있는지를 따졌다. 오일러는 땅을 원(노드)으로, 다리를 선(엣지)으로 바꿔 문제를 단순화했고, 그런 경로가 불가능하다는 것을 증명했다. 이 표현 방식이 오늘날 에이전트 설계에 그대로 쓰인다.

앞서 본 다섯 단계 워크플로도 실행이 왼쪽에서 오른쪽으로만 흐르고 되돌아가는 고리가 없다는 점에서 DAG, 즉 방향성 비순환 그래프다. 굳이 수백 개로 쪼개지 않고 에이전트 하나로 처리할 수도 있지만, 그렇게 하지 않는 이유는 분명하다. 여러 에이전트가 동시에 일하면 시간이 크게 절약되고, 각 에이전트가 자기 컨텍스트 창을 가지므로 목표에 집중할 수 있다. 단일 에이전트는 목표와 현재 작업을 한 창에 담아 두고 요약을 반복해야 한다.

물론 대가도 있다. 영상은 앤트로픽이 공개한 멀티 에이전트 리서치 시스템 관련 글을 인용해, 단일 에이전트는 일반 대화보다 약 4배, 멀티 에이전트 시스템은 약 15배의 토큰을 쓰는 경향이 있다고 전한다. 예시의 에이전트들은 각각 기본 2만 토큰 규모로 시작했고, 결국 108개까지 늘어난 점을 감안하면 입력 비용만 10달러에 가까워진다. 다만 프롬프트 캐싱이 있어 현실적인 금액은 1달러에 가깝다는 것이 제작자의 추정이다.

주요 인사이트

• 에이전트끼리 대화한다는 발상 자체는 새롭지 않다. 영상은 2023년 마이크로소프트의 오토젠, 같은 시기 랭체인이 순환 그래프를 다루며 랭그래프로 이어진 흐름, 그리고 프롬프트 체이닝·라우팅·병렬화·오케스트레이터·평가자 최적화 같은 협업 패턴들을 함께 짚는다.
• 그때 이 방식들이 실질적인 쓸모를 내지 못한 이유는 그래프가 아니라 노드에 있었다. 당시 노드는 단순한 LLM 호출이었고, 오늘날 코딩 에이전트처럼 도구와 하네스를 갖춘 존재가 아니었다.
• 프롬프트 엔지니어링에서 컨텍스트 엔지니어링, 더 나은 하네스로 개별 에이전트가 개선되면서 병목이 이동했다. 이제 관심은 노드가 무엇을 할 수 있느냐가 아니라 노드를 잇는 그래프와 엣지로 옮겨 갔다.
• 비용 구조를 이해하는 것이 실무의 관건이다. 멀티 에이전트는 토큰 사용량이 크게 늘지만, 프롬프트 캐싱이 실제 청구액을 한 자릿수 달러 수준으로 낮춰 병렬 확장을 현실적인 선택지로 만든다.
• 결국 오늘의 과제는 오일러의 질문을 바꿔 놓은 것과 닮았다. 능력 있는 노드를 전제로, 주어진 과제를 어떻게 나누고 어떤 구조로 배치해야 더 복잡한 문제를 풀 수 있는지를 설계하는 일이다.

자주 묻는 질문

관련 AI 소식