AI 에이전트가 LLM보다 느린 이유 — 도구 실행·GPU 유휴·캐시 오프로딩

핵심 메시지

• LLM은 매우 빠르게 토큰을 생성하지만, 에이전트는 외부 세계와 상호작용하는 '도구 실행' 때문에 근본적으로 느리다.
• 모델이 도구 호출을 요청하는 시간은 짧지만, 실제 도구가 실행되는 데는 수 초에서 수 분이 걸리는 비대칭 구조가 생긴다.
• 도구가 실행되는 동안 값비싼 GPU가 캐시를 붙든 채 놀게 되어, 인프라·칩 계층에서도 낭비가 발생한다.
• 캐시를 GPU 밖에 저장하는 방식과 '분리형 추론(disaggregated inference)'이 이 비대칭을 완화하는 대응책으로 제시된다.
• 에이전트 워크로드는 도구 실행뿐 아니라 에너지 배분, 하네스(harness) 설계, 모델의 도구 호출 능력까지 스택 전체에 영향을 준다.

쉽게 이해하기

영상은 'LLM은 초당 수백에서 수천 토큰까지 답을 내놓는데 왜 에이전트는 그렇게 느린가'라는 질문에서 출발한다. 발표자는 순수 LLM과 달리 에이전트는 도구를 사용해 외부 세계와 실제로 상호작용한다는 점이 결정적 차이라고 설명한다.

예를 들어 클로드 코드에 위키백과 문서를 요약해 달라고 하면, 모델은 도구를 호출해 인터넷에서 문서를 가져와야 한다. 모델이 도구 호출을 만들어내는 속도가 초당 수백 토큰이어도, 웹사이트에 실제로 접속해 내용을 받아오는 시간에 묶인다. 노션을 바꾸는 MCP, 날씨 API 호출, 코드 빌드, 데이터베이스 조회, 대용량 파일 전송 모두 마찬가지다.

이 지연은 애플리케이션 계층에만 머물지 않는다. 도구가 실행되는 동안 GPU는 캐시를 붙든 채 결과가 돌아올 때까지 그냥 대기한다. GPU 대여 비용이 시간당 2~7달러에 이르는 만큼, 이 유휴 시간은 큰 낭비다. 그래서 캐시를 GPU 밖 저장소에 두어 GPU를 계속 돌리자는 발상이 나온다.

이 발상은 '분리형 추론'과 잘 맞물린다. 입력과 도구 결과를 처리하는 배치 연산 부분과, 그 뒤 토큰을 하나씩 생성하는 부분을 나누는 방식이다. 배치 처리는 연산 중심 GPU에, 토큰 생성은 대역폭 중심 GPU에 맡기고, 오래 걸리는 에이전트 작업의 캐시는 외부 저장소에 둔다. 다만 캐시를 옮기는 오버헤드가 있어, 중국 연구진이 이를 최적화한 '듀얼 패스' 방식을 내놨다고 소개한다.

영상은 에너지·하네스·모델 계층까지 짚는다. 에이전트 워크로드는 GPU뿐 아니라 CPU·저장소·네트워킹의 비중을 높여 데이터센터의 자원 배분을 다시 생각하게 만든다. 또한 클로드 코드가 도는 리액트(ReAct) 루프처럼 하네스마다 속도가 달라지고, 도구 호출을 잘하는 모델과 못하는 모델의 차이도 성능을 좌우한다고 정리한다.

주요 인사이트

• 에이전트의 지연은 '모델이 느려서'가 아니라 도구 실행이라는 외부 작업이 전체 시간의 대부분을 차지하기 때문이라는 점이 핵심이다.
• 앤트로픽은 API 차원에서 프롬프트 캐싱을 제공하는데, 기본 5분에서 옵션으로 최대 1시간까지 캐시를 유지할 수 있다(더 높은 요금). 이는 에이전트 사용을 위한 캐시 처리의 한 예로 소개된다.
• 집에서 혼자 쓰는 로컬 에이전트에는 분리형 추론이나 KV 캐시 오프로딩이 과잉 설계지만, 대규모 서비스에서는 도구 호출이 반복되는 특성상 이런 정교한 시스템이 필요하다.
• 로컬 PC조차 850W 파워에 450W를 먹는 RTX 4090을 얹고 CPU·메모리·저장소·냉각·네트워킹까지 더하면, 원시 GPU 성능만이 제약이 아님을 실감하게 된다.
• 같은 작업이라도 하네스에 따라 속도가 달라져, 클로드 코드와 코덱스를 비교하는 실험이 이뤄진다. 모델의 지능·속도가 모델 자체에서 오는지 하네스에서 오는지에 대한 오랜 논쟁과 맞닿아 있다.

자주 묻는 질문

관련 AI 소식