DGX 스테이션 GB300 실측: 748GB 통합 메모리로 로컬 AI 에이전트 128개 동시 실행

핵심 메시지

• ASUS ExpertCenter Pro ET900N G3에 들어간 엔비디아 GB300 슈퍼칩은 데이터센터용 칩의 데스크톱 변형으로, 책상 위에서 대형 모델을 직접 돌리는 것을 목표로 한다.
• 메모리는 초고속 GPU 풀 256GB와 그레이스 CPU 쪽 500GB 이상을 하나로 묶은 748GB 통합 구조여서, GPU 메모리 용량만으로는 올릴 수 없던 모델도 실행된다.
• NVFP4 4비트 양자화 덕분에 16비트로는 약 2TB에 달하는 GLM 5.2도 465GB로 줄어 로컬 디스크와 메모리에 들어간다.
• 동시 요청 수(컨커런시)를 늘리면 개별 응답은 조금 느려지지만 전체 처리량은 크게 오른다. 단일 사용자 약 180토큰/초에서 128 동시 요청 시 2,600토큰/초를 넘겼다.
• 에이전트 16개는 약 750W에서 1,400토큰/초, 64개는 약 900W에서 3,500토큰/초를 냈고 128개까지도 동작했다. 테스트한 모델 기준 32~64개가 균형점이었다.

쉽게 이해하기

영상은 1년 전이라면 데이터센터에 있었을 시스템이 이제 노트북 옆 책상 위에 놓였다는 말로 시작한다. 제품명은 ASUS ExpertCenter Pro ET900N G3이지만, 그 안을 채우는 것은 엔비디아가 DGX 스테이션이라 부르는 구성과 GB300 슈퍼칩이다. GB300 자체는 이미 서버용으로 쓰이고 있었고, 이번 제품은 그 데스크톱 변형이다.

가장 큰 차이는 메모리다. 748GB를 하나의 공간처럼 쓰되, 초당 7~8TB로 움직이는 고대역폭 메모리(HBM) 256GB와 초당 약 500GB인 그레이스 쪽 LPDDR5X 500GB 이상이 결합된 구조다. 발표자는 이를 '빠른 차선과 조금 느린 차선이 있는 통합 메모리'로 설명한다. 네트워크도 데이터센터 장비에서 보던 400Gb급 ConnectX-8 슈퍼닉이 그대로 달려 있어 여러 대를 낮은 지연으로 묶을 수 있고, PCIe 슬롯 3개로 GPU를 더 넣을 수도 있다. 다만 전력은 만만치 않아 슈퍼칩만으로도 유휴 약 360W, 최대 약 1,400W를 쓰기 때문에 발표자는 240V·20A 콘센트를 따로 썼다.

테스트에 쓴 모델은 네모트론 계열 120B급, Qwen 3 235B, DeepSeek, 그리고 GLM 5.2다. 핵심은 블랙웰 아키텍처가 네이티브로 지원하는 NVFP4라는 엔비디아식 4비트 형식이다. 16비트 기준 약 2TB인 GLM 5.2가 465GB로 줄어드는데, 이 압축이 바로 '데이터센터 모델을 책상 위에 올리는 요령'이라고 설명한다. 다만 465GB는 256GB인 HBM에 다 들어가지 않아 나머지가 느린 메모리로 넘어가고, 그 결과 초당 24토큰 수준으로 떨어진다. 전문가 혼합(MoE) 구조라 매 토큰이 읽는 부분이 주로 넘어간 쪽이기 때문이다.

단일 사용자 기준 성능만 보면 네모트론 계열이 초당 184토큰 정도로 응답을 생성했고, 프롬프트를 읽어 들이는 프리필 처리량은 네모트론 약 2,200, Qwen 약 2,500, DeepSeek 약 1,800, GLM은 243토큰/초였다. 발표자는 에이전트에서는 이 프리필이 특히 중요하다고 짚는다. 사람이 치는 짧은 질문과 달리 에이전트는 코드와 파일, 그동안의 대화 맥락을 통째로 밀어 넣기 때문이다.

가장 흥미로운 부분은 동시성 실험이다. 요청을 1개에서 2, 4, 8, 16, 32, 64, 128개로 늘리자 총 처리량은 180 → 250 → 400 → 800 → 1,000 → 1,500 → 2,600토큰/초로 계속 올랐다. 1분 남짓 동안 25만 4천 토큰이 생성됐다. GPU가 여러 요청을 한 번에 묶어 처리하는 연속 배칭 덕분이다. 마지막으로 코더·리서처·분석가·작가·플래너·테스터·아키텍트 같은 역할을 가진 에이전트를 실제로 16개, 64개, 128개까지 띄웠고, 64개 구간에서 약 900W를 쓰며 초당 3,500토큰을 뽑아냈다. 발표자는 이 장비가 설계를 바꿔주지는 않고 '천장을 높여줄 뿐'이라고 선을 긋는다.

주요 인사이트

• 로컬 AI 장비의 값어치는 단일 응답 속도보다 동시 처리량에서 나온다. 사람 한 명이 쓰는 챗봇이라면 노트북이나 맥 미니로도 충분하지만, 에이전트 수십 개를 24시간 돌리는 순간 필요한 것은 처리량이다.
• 메모리 용량과 대역폭은 별개 문제다. 748GB에 모델이 들어간다고 해서 다 빠른 것은 아니며, HBM을 넘어서는 순간 속도는 눈에 띄게 떨어진다. 모델 크기를 고를 때 'HBM 안에 들어가는가'가 실질적인 기준이 된다.
• 동시성을 올리면 개인 체감 속도는 조금 느려지고 전체 처리량은 오른다. 소수 사용자에게 쾌적함을 줄지, 전체 작업량을 극대화할지는 운영자가 선택해야 하는 트레이드오프다.
• 모델마다 최적 동시성 구간이 달랐다. DeepSeek은 64 부근이 좋았고 일부 모델은 32에서 처리량이 살짝 꺾이는 구간이 반복 재현됐다. 하드웨어 사양만 보고 결론 내릴 수 없다는 뜻이다.
• 비용 구조가 달라진다. 장비값은 비싸지만 일단 들이면 토큰당 과금이 없고 데이터가 책상 밖으로 나가지 않는다. 월 수천 달러의 API 청구서와 비교하는 관점이 로컬 장비 논의의 핵심이 되고 있다.

자주 묻는 질문

관련 AI 소식