AI 에이전트 워크로드에서 CPU가 병목이 되는 이유 — GPU·CPU 비율 변화

핵심 메시지

• 단일 패스 추론이던 초기 챗봇과 달리, 오늘날 에이전트형 워크플로는 웹 검색·브라우저 조작·코드 실행·DB 연결 등 CPU에 의존하는 도구 호출을 대거 오케스트레이션한다.
• 학습 단계의 CPU:GPU 비율은 대략 1:8이지만 추론 단계에서는 1:4 수준으로, CPU 제조사 일부는 1:1에 가깝다고 주장할 만큼 CPU 비중이 커지고 있다.
• CPU 시간이 더 길다고 해서 반드시 더 비싼 것은 아니며, CPU 코어는 GPU 연산력보다 확보하기 쉽다는 점이 비용 구조의 핵심이다.
• 엔비디아는 GPU 모듈에 더 강한 CPU를 사이드카로 함께 출하하기 시작했는데, 이는 컴퓨팅 부족이 GPU에만 국한되지 않음을 보여준다.

쉽게 이해하기

발표자는 AI 에이전트가 느리게 동작할 때 흔히 더 좋은 GPU를 답으로 떠올리지만, 인텔과 엔비디아의 최근 연구는 상당수 에이전트형 워크로드에서 정작 CPU가 진짜 병목이 되고 있다고 지적한다. 'Agentic AI demands more than GPUs'라는 글의 두 그림을 토대로, 시간이 지나며 AI 시스템의 연산 수요가 어떻게 바뀌었는지를 풀어 설명한다.

2022년 챗GPT 초기에는 사용자 입력 토큰화나 RAG용 정보 주입처럼 CPU에 묶인 작업이 있었지만, 실제 모델 추론은 전적으로 GPU에서 단일 패스로 처리됐다. 그러나 지금은 단일 패스 모델이 아니다. 클로드 코드 같은 도구는 웹 검색(웹 API 실행), 브라우저 사용(무거운 Playwright 세션), 테스트 실행을 위한 파이썬 코드 등 다양한 도구 호출을 조율하며, 이들 상당수가 CPU에서 돌아간다.

발표자는 데이터베이스 연결, CPU에서도 충분히 동작하는 일부 머신러닝 모델 등을 예로 들며 에이전트 워크플로가 CPU 연산에 의존하는 지점이 훨씬 많아졌다고 정리한다. 이를 실증하기 위해 클로드 코드의 훅(세션 시작·도구 사용 전후·세션 종료)을 이용해 도구 호출과 소요 시간을 기록하는 간단한 데모를 만들어 보여준다.

비율 측면에서 학습은 CPU 한 개당 GPU 여덟 개 수준이지만(CPU는 데이터 전처리에 쓰임), 추론에서는 CPU 한 개당 GPU 네 개 정도이며 일부 CPU 제조사는 1:1에 가깝다고도 주장한다. 데모에서 simulate 스크립트는 코어 하나를 가득 쓰고, 멀티코어 플래그로는 여러 프로세스가 더 높은 사용량 정점을 찍는다.

다만 발표자는 CPU 시간이 길다고 더 비싼 것은 아니라고 강조한다. 맥에는 코어가 10개나 있어 CPU 코어 하나는 비교적 쉽게 확보되며, 오래된 CPU로도 대부분의 파이썬 코드는 무리 없이 돌지만 8년 넘은 GPU로는 대형 언어 모델을 사실상 돌릴 수 없다. 결론적으로 현실에서는 여전히 GPU 활용도가 더 중요한 경우가 많지만, CPU가 AI 인프라에서 차지하는 역할은 분명히 커지고 있다.

주요 인사이트

• 병목 분석은 '시간을 어디서 더 썼는가'만 보면 오해하기 쉽다. 같은 1:1 분배라도 CPU가 GPU보다 훨씬 저렴할 수 있으므로, 하드웨어별 소요 시간과 비용을 분리해서 봐야 한다.
• 에이전트의 도구 호출(웹 검색·브라우저·코드 실행·DB 조회)이 늘어날수록 워크플로의 CPU 의존성도 함께 커지므로, 단순 추론보다 에이전트형 작업에서 CPU 영향이 두드러진다.
• 사용 방식에 따라 분배가 달라진다. 최대 사고(thinking) 모드는 GPU 대기가 길어지는 반면, 수백 개의 웹 문서를 끌어와 처리하는 딥 리서치 모드는 CPU·네트워크 비중이 더 커진다.
• 엔비디아가 GPU에 강화된 CPU를 사이드카로 붙여 출하한다는 사실은, 업계의 컴퓨팅 부족이 GPU 한쪽이 아니라 CPU·GPU 양쪽 모두의 문제임을 시사한다.

자주 묻는 질문

관련 AI 소식