AI 에이전트 샌드박스란 무엇인가: 격리 방식과 스냅샷, 자체 스케줄러, CPU 부족 전망까지

핵심 메시지

• 에이전트를 '디지털 지식 노동자'로 보면 결론은 단순하다. 사람이 일하려면 컴퓨터가 필요하듯, 도구 호출이나 코드 실행을 하는 에이전트에게는 자기 몫의 컴퓨터, 즉 샌드박스가 필요하다.
• 기존 하이퍼스케일러는 앱 배포를 위한 무상태(stateless) 전제 위에 설계됐지만, 에이전트 작업은 상태를 유지한 채 오래 도는 성격이라 같은 인프라로 덮기 어렵다.
• 샌드박스는 인프라(빠른 생성과 동시 실행), 프리미티브(마이크로 VM·컨테이너 같은 격리 단위), 툴링(에이전트를 돕는 도구와 방화벽·시크릿 관리 같은 가드레일) 세 층이 합쳐진 것이다.
• 강화학습 실험에서 CPU 샌드박스가 빨리 뜨고 꺼져야 하는 이유는 비싼 GPU를 놀리지 않기 위해서다. 스냅샷과 포크는 대기 중인 샌드박스를 멈춰 비용을 줄이고, 에이전트가 여러 경로를 동시에 시도하게 해 준다.
• 에이전트 확산으로 CPU 수요가 급증하면서, 그동안 주목받아 온 GPU 부족에 이어 CPU 부족이 올 수 있다는 전망이 제시됐다.

쉽게 이해하기

매트 터크가 진행하는 MAD 팟캐스트에 에이전트 인프라 스타트업 데이토나(Daytona)의 CEO 이반 부라진이 출연해, 최근 AI 대화에 부쩍 자주 등장하는 '샌드박스'가 무엇이고 왜 지금 중요해졌는지를 처음부터 설명했다. 그의 출발점은 단순하다. 에이전트를 디지털 지식 노동자로 본다면, 사람이 웬만한 일을 컴퓨터로 처리하듯 에이전트도 도구를 설치하고 웹에 접속하고 코드를 돌릴 자기 컴퓨터가 있어야 한다는 것이다. 샌드박스라는 말은 격리에서 왔지만, 실제로는 격리된 '조립 가능한 컴퓨터'에 가깝다고 그는 정의했다.

왜 그냥 자기 노트북에서 돌리면 안 되는지에 대한 설명이 인상적이다. 그는 이사회 자료를 만들며 AI에게 은행 데이터를 가져오라고 시켰다가 '로그인해서 접근 권한을 달라'는 요구를 받고 전제가 깨졌다고 말했다. 그래서 에이전트에게 별도의 계정과 전화번호까지 주고 자기 컴퓨터를 따로 내줬다. 은행이 2단계 인증을 요구하기 때문에 전화번호가 필요했고, 계정 권한은 조회만 되도록 묶었다. 이렇게 하면 남는 위험은 데이터 유출 정도이고, 문제가 생기면 기계 자체를 꺼 버릴 수 있다. 노트북 실행에는 다른 제약도 있다. 뚜껑을 닫으면 작업이 멈추기 때문에 사람들이 노트북을 열어 둔 채 기다리는 풍경이 생기고, 동시에 돌릴 수 있는 작업 수도 기기 성능에 갇힌다. 원격에 두면 노트북에서 시작한 작업을 휴대폰에서 이어받을 수 있고, 수십에서 수만 개까지 동시에 띄울 수 있다. 다만 그는 모든 에이전트가 샌드박스를 필요로 하는 것은 아니라고 선을 그었다. 대화만 주고받는 챗봇형은 필요 없지만, 도구 호출·코딩·브라우저 사용처럼 실제 행동이 끼면 컴퓨터가 필요해진다. 지식 노동의 상당 부분이 여전히 API 없이 화면 안에 갇혀 있기 때문에, 오늘의 에이전트가 업무를 끝까지 해내려면 결국 화면을 조작할 컴퓨터를 줘야 한다는 설명이다.

그는 에이전트 스택을 사람에 빗대 정리했다. 모델은 뇌, 도구와 샌드박스는 손에 쥔 연장, 메모리는 기억, 오케스트레이션은 관리, 관측성은 동료의 일을 확인하는 절차에 해당한다. 하네스는 모델이 무엇을 할 수 있고 없는지를 잡아 주는 틀이며, 샌드박스 제공자는 하네스를 대신하지는 않고 그것이 잘 작동하도록 받쳐 준다는 구분도 덧붙였다. 그가 아직 풀리지 않았다고 본 지점은 메모리와 학습이다. 지금 최선의 방법이 마크다운 파일에 기록을 쌓아 두는 것 정도인 데다, 모델은 어제 한 일에서 스스로 배우지 못한다. 같은 실수를 여섯 번째에 또 저지르는 동료와 일하는 셈이라는 것이다.

기술적인 이야기로 들어가면 차이가 분명해진다. 대부분의 샌드박스 제공자는 AWS 람다에도 쓰이는 초경량 가상머신 파이어크래커(Firecracker)에서 출발했지만, 파이어크래커로는 GPU를 붙이거나 특정 환경을 띄울 수 없어 클라우드 하이퍼바이저나 QEMU 같은 다른 격리 방식이 필요해진다. 컨테이너는 밀도와 속도에서 유리한 대신 VM보다 보안이 약해 별도 강화가 필요하다. 데이토나는 이 여러 격리 방식을 하나의 인터페이스 뒤에 감춰, 사용자는 리눅스나 윈도가 필요하다고만 말하면 되도록 만들었다고 한다.

쿠버네티스 같은 기성 스케줄러를 버리고 직접 만든 이유도 여기에 있다. 기존 스케줄러는 짧게 살다 사라지는 무상태 작업을 전제로 설계돼, 빠르게 뜨고 상태를 유지한 채 오래 도는 샌드박스에 맞지 않았다는 것이다. 오래 도는 샌드박스는 그 자체로 운영 난제이기도 하다. 샌드박스가 영원히 살아 있으면 아래 서버를 재부팅하거나 패치할 수 없기 때문에, 이를 감당하려면 샌드박스를 서버 사이로 라이브 마이그레이션할 수 있어야 한다. 그는 자사 샌드박스의 2.5% 정도만 24시간 넘게 도는데 매출로는 20%가량을 차지한다고 밝혔다. 마지막으로 그는 반도체 수급 전망을 짚었다. 그동안 관심은 GPU 부족에 쏠려 있었지만, 에이전트가 저마다 컴퓨터를 요구하고 강화학습이 모델 발전의 주된 경로가 되면서 CPU 수요가 빠르게 늘고 있다는 것이다. 그는 CPU 부족 가능성이 상당히 높다고 봤다. 또한 지금의 트랜스포머 기반 모델이 최종 형태라고 보지 않는다며, 더 적은 연산을 쓰거나 아예 다른 방식의 모델이 등장하면 지금 깔아 둔 모든 베팅이 달라질 수 있다고 덧붙였다.

주요 인사이트

• '에이전트에게 컴퓨터를 준다'는 말은 은유가 아니라 권한 설계에 가깝다. 별도 계정, 조회 전용 권한, 한도가 걸린 결제 수단처럼 사람 직원에게 적용하던 통제를 그대로 옮겨 두면, 최악의 경우에도 기계를 꺼 버리는 것으로 수습할 수 있다.
• 샌드박스 생성 속도가 밀리초 단위로 경쟁하는 이유는 사용자 체감보다 GPU 가동률에 있다. 강화학습에서는 CPU 샌드박스가 늦게 뜨는 만큼 값비싼 GPU가 논다.
• 스냅샷과 포크는 비용 절감 수단인 동시에 에이전트의 실행 전략이 된다. 특정 시점으로 되돌리거나 샌드박스를 복제해 두 갈래 경로를 동시에 시도할 수 있기 때문이다.
• '파이어크래커 하나 띄우는 것'과 '백만 개를 운영하는 것'은 다른 문제다. 로컬 디스크를 쓰면 네트워크 드라이브 대비 수십 배 빠른 입출력을 얻지만, 서버가 죽었을 때의 복구 부담을 전부 떠안게 된다.
• 인프라 회사의 경쟁력이 제품 성능에만 있지 않다는 점도 짚을 만하다. 그는 제품이 동등할 때 인지도와 선호, 그리고 빠른 첫 응답 같은 지원 경험이 선택을 가른다고 말했다.

자주 묻는 질문

관련 AI 소식