엔비디아 베라 CPU 분석 — AI 에이전트 시대에 CPU가 병목이 되는 지점과 ARM 전환

핵심 메시지

• 엔비디아는 GTC 키노트에서 GPU가 아니라 서버용 CPU인 베라에 가장 긴 시간을 할애했다. 게임 관련 내용은 전체 발표에서 몇 분에 그쳤다.
• 핵심 주장은 에이전트 워크플로에서 CPU가 병목이 된다는 것이다. 모델이 토큰을 뱉는 구간은 GPU가 맡지만, 코드를 컴파일하고 실행하고 데이터를 가져오는 구간은 전부 CPU 작업이다.
• 베라는 x86이 아니라 ARM 기반이다. 애플이 맥에서 ARM의 실용성을 증명한 뒤 서버급 ARM CPU에 대한 진입 장벽이 낮아졌다는 것이 영상의 해석이다.
• 엔비디아가 그리는 그림은 'CPU를 사람이 나눠 쓰는 것이 아니라 GPU가 쓴다'는 내러티브다. 기존 클라우드 CPU가 가상화해 임대하는 자원이었다면, 이제는 LLM이 시키는 일을 처리하는 하위 실행기가 된다.
• 다만 토큰 생성이 시간을 지배하는 워크로드에서는 CPU를 아무리 빠르게 만들어도 체감 효과가 크지 않을 수 있다는 회의적 시각도 함께 제시된다.

쉽게 이해하기

이 영상은 엔비디아가 GTC에서 공개한 서버용 CPU '베라'를 두 진행자가 자료를 띄워 놓고 검증하듯 뜯어보는 대담이다. GPU로 유명한 회사가 왜 CPU를 직접 만들었는지, 그리고 '에이전트 시대에는 CPU가 병목'이라는 회사 측 주장이 어디까지 사실인지가 중심 질문이다.

진행자들이 먼저 짚는 것은 회의론이다. 어차피 무거운 연산은 클라우드의 GPU가 처리하니 CPU는 라즈베리 파이 수준이어도 되지 않느냐는 반론이 있다는 것이다. 이에 대한 엔비디아의 답은, 에이전트가 실제로 하는 일을 하나씩 따라가 보면 CPU가 붙잡고 있는 시간이 생각보다 길다는 것이다. 모델이 '컴파일하고 실행하라'는 도구 호출 토큰을 만들어내는 순간까지는 GPU의 일이지만, 그 뒤 실제로 컴파일하고 실행하고 결과를 확인하는 구간은 전부 CPU가 담당한다.

여기서 중요한 구분이 하나 나온다. 베라는 개인 노트북용 칩이 아니라 서버 CPU라는 점이다. 사용자가 챗봇에 코드를 짜서 돌려 달라고 하면 서비스 제공자의 서버에서 샌드박스가 뜨고 그 안에서 코드가 실행되는데, 진행자들의 경험상 이런 실행 환경에 배정되는 CPU 자원은 대체로 빈약하다. 컴퓨팅 자원을 넉넉히 주면 그대로 비용이 되기 때문이다. 결국 사용자는 GPU가 느린지 CPU가 느린지 구분하지 못한 채 전체 응답이 느리다고 느낀다.

성능 면에서 엔비디아는 싱글 코어 성능이 x86 대비 1.5배 빠르다고 주장한다. 진행자는 '어떤 x86과 비교했는지 밝히지 않으면 숫자를 믿기 어렵다'며 직접 찾아본 결과 AMD의 최상위 서버 제품군이 비교 대상이었다고 전한다. 칩 사양으로는 88개 코어, 250~450와트 수준의 전력 설계, 큰 캐시, 그리고 GPU와의 통신을 담당하는 고속 링크가 언급된다. 에이전트의 크리티컬 패스에서는 병렬화가 안 되는 단일 작업이 많기 때문에 싱글 스레드 성능이 특히 중요하다는 설명이 붙는다. ARM을 택한 데 따르는 대가도 짚는다. 명령어 집합이 다르기 때문에 같은 C 코드라도 ARM용과 x86용 바이너리가 따로 나오고, 오픈소스는 다시 컴파일하면 되지만 소스가 공개되지 않은 프로그램은 옮기기 어렵다. 진행자들은 이전 세대 개발자 장비를 써 본 경험을 언급하며, 리눅스의 ARM 지원 자체는 이미 성숙했지만 GPU와 메모리를 공유하는 특수한 구성 탓에 초기에는 손이 많이 갔다고 회고한다.

마지막으로 다루는 것은 사업 구조다. 베라 CPU는 1월 GTC에서 발표된 베라 루빈 플랫폼의 여섯 개 신규 칩 중 하나이며, CPU 하나에 GPU 두 개를 한 보드에 얹은 슈퍼칩과 이를 랙 단위로 묶은 구성까지 함께 제시됐다. 진행자들의 결론은 간명하다. 예전에는 다른 회사의 CPU와 엔비디아 GPU를 조립해 서버를 만들었다면, 이제는 CPU부터 네트워크까지 한 세트로 사서 이른바 'AI 팩토리'를 통째로 구축하라는 제안이라는 것이다.

주요 인사이트

• 'CPU를 GPU가 쓴다'는 표현은 마케팅 문구를 넘어 자원 배분의 관점 전환을 담고 있다. 기존 서버 CPU가 여러 사용자에게 쪼개 파는 임대 자원이었다면, 에이전트 환경에서는 모델의 지시를 받아 도구를 실행하는 종속 실행기에 가깝다.
• 영상에서 인용된 자료에 따르면 CPU가 차지하는 시간 비중은 작업 종류에 따라 크게 갈린다. 요약처럼 도구 사용이 섞인 작업에서는 절반 가까이가 CPU 시간이라는 수치가 제시된 반면, 토큰 생성이 지배적인 작업에서는 CPU 개선의 효과가 제한적일 수 있다.
• 회의적인 반론도 설득력이 있다. 진행자 한 명은 여전히 GPU가 더 큰 병목이라고 보는데, 추론 모델이 길게 생각하는 시간이 체감 지연의 큰 부분을 차지하기 때문이다.
• 오히려 더 분명한 수혜처로 지목된 것은 학습 이후 단계다. 강화학습의 롤아웃이나 시뮬레이션, 평가 실행은 상당 부분 CPU가 담당하기 때문에 여기서는 CPU 성능 향상이 곧바로 반영될 여지가 있다.
• GPU와 달리 CPU에서는 쿠다 같은 소프트웨어 해자를 만들기 어렵다는 지적도 나온다. ARM 명령어 집합은 표준화되어 있어 한 번 컴파일한 바이너리가 여러 회사 칩에서 돌아가지만, 엔비디아 GPU는 명령어 집합이 비공개인 데다 세대마다 바뀌어 중간 언어를 거치는 구조를 유지해 왔다.

자주 묻는 질문

관련 AI 소식