AI 에이전트 아키텍처 설계법: 실행·컨텍스트·컴퓨트 세 계층을 분리해야 하는 이유

핵심 메시지

• 에이전트를 6개월 넘게 만들어 왔다면 이미 한 번 이상 구조를 다시 썼을 가능성이 높다. 모델도, 프레임워크도, 도구 호출 방식도 계속 바뀌기 때문이다.
• 발표자는 에이전트 시스템을 실행(execution)·컨텍스트(context)·컴퓨트(compute) 세 계층으로 나눠 볼 것을 제안한다. 각각 두뇌, 지식, 손에 해당한다.
• 계층마다 수명이 다르다. 프롬프트는 몇 주, 모델은 몇 달이지만 실행 계층은 제대로 설계하면 몇 년을 간다는 것이 발표의 핵심 주장이다.
• 실행 계층은 실패 지점에서 이어서 재개하는 능력, 크론·이벤트·사람 개입 등 다양한 호출 방식, 그리고 세션 전체를 들여다보는 관측성을 제공해야 한다.
• 샌드박스는 본래 일회성이고 상태를 남기지 않는 도구다. 여기에 상태 저장이나 내구성을 맡기는 것은 안티패턴이라고 지적한다.

쉽게 이해하기

AI 에이전트를 만들어 본 사람이라면 익숙한 경험이 있다. 반년 전에 공들여 짠 구조가 어느새 맞지 않아 다시 쓰게 되는 일이다. 새 모델이 나오고, 프레임워크 버전이 올라가고, 도구를 호출하는 표준이 바뀌면 기존 설계가 어긋나기 시작한다. 이 발표는 그 현상을 불평이 아니라 전제로 받아들이자고 말한다. 중요한 것은 무엇이 살아남았는지가 아니라, 살아남은 부분이 우연인지 설계의 결과인지다.

발표자는 흔히 그려지는 부품 나열식 다이어그램 대신 개념적인 세 계층을 제시한다. 첫째는 실행 계층으로, 흐름과 상태·내구성·재시도가 일어나는 두뇌에 해당한다. 둘째는 컨텍스트 계층으로 모델과 프롬프트, 도구, 메모리가 들어가며 가장 자주 바뀐다. 셋째는 컴퓨트 계층으로 샌드박스와 런타임, 자동화하는 브라우저처럼 실제로 일을 처리하는 손이다.

이렇게 나누는 이유는 계층마다 수명이 다르기 때문이다. 프롬프트는 운이 좋아야 몇 주, 모델은 몇 달을 버틴다. 반면 실행 계층은 잘 설계하면 몇 년을 쓸 수 있다. 문제는 대부분의 팀이 세 층을 한 덩어리로 묶어 둔다는 점이다. 그러면 수명이 짧은 층이 긴 층까지 끌어내려, 모델 하나 바꾸려다 시스템 전체를 다시 쓰는 상황이 생긴다.

그래서 발표는 실행 계층에 투자하라고 권한다. 실행 계층은 코드를 신뢰성 있게 돌리고, 각 작업이 언제·어떻게·완료되는지를 관리하는 시스템으로 정의된다. 세 시간짜리 작업이 38번째 단계에서 실패했다면 처음부터 다시 돌리는 대신 그 지점에서 이어가야 하고, 그러려면 상태가 실행 과정 바깥에 내구성 있게 저장돼야 한다. 크론과 이벤트, API, 사람의 개입, 서브에이전트 호출 같은 다양한 시작 방식도 함께 지원해야 한다.

발표자는 앞으로 6개월 사이 늘어날 구조들, 예컨대 백그라운드 에이전트나 스스로 상태를 점검하며 도는 루프형 시스템을 예로 든다. 이들은 길게 돌고 비동기이며 위임이 많아, 실행 기록을 사람과 에이전트 모두가 들여다볼 수 있어야 한다. 30분마다 지표를 점검해 이상하면 조사 에이전트를 부르고, 주 단위로 그 판단이 적절했는지 되돌아보는 세 개의 함수만으로도 개선 루프가 만들어진다는 예시가 소개된다.

주요 인사이트

• '무엇을 쓰느냐'보다 '무엇을 분리해 두었느냐'가 수명을 결정한다. 프레임워크가 편해 보여도 오케스트레이션이 체인 안쪽에 묻혀 있으면 나중에 갈아끼울 수 없다.
• 긴 작업일수록 상태를 메모리나 디스크에 두면 안 된다. 실패는 예외가 아니라 기본값이므로, 재개 가능성은 기능이 아니라 설계 전제로 다뤄야 한다.
• 관측성은 모델 호출 로그만으로 부족하다. 트리거부터 데이터베이스 오류, 권한 문제, 성능까지 한 세션의 흐름이 이어져 보여야 디버깅과 개선이 가능하다.
• 실행 계층은 사용자 입력과 결과가 모두 지나가는 길목이라, 에이전트를 평가하고 점수 매기기에도 가장 좋은 자리다. 좋아요·싫어요 대신 'PR이 열렸는가', '리포트가 저장됐는가' 같은 결과 기반 지표를 붙일 수 있다.
• 3개월 전 프레임워크는 지금 필요한 장기 실행·비동기·위임형 구조를 염두에 두고 만들어지지 않았다. 결국 자기 시스템의 뼈대는 직접 설계해야 한다는 뜻이다.

자주 묻는 질문

관련 AI 소식