텐스토렌트 Wormhole N300 vs 엔비디아·AMD — 비엔비디아 로컬 AI 카드 실측

핵심 메시지

• 텐스토렌트 Wormhole N300은 비디오 출력도 CUDA도 없는 AI 전용 카드로, 칩 2개·메모리 24GB에 약 1,400달러다.
• Llama 3.1 8B 기준 단일 스트림 약 30~31토큰/초였고, 동시 8개 요청 시 총 164토큰/초로 처리량이 약 5배로 뛰었다.
• 같은 가격대의 엔비디아 RTX 5080은 93토큰/초로 약 3배 빨랐고, 와트당 토큰 효율에서도 앞섰다.
• N300은 약 70W만 소비했지만(300W 정격), 더 많은 토큰을 뽑아내는 GPU가 효율에서도 우위였다.
• 하드웨어 자체가 문제가 아니라 15년 쌓인 CUDA 대비 소프트웨어 스택의 성숙도가 승부를 가른다는 것이 핵심 결론이다.

쉽게 이해하기

발표자는 '이건 사실 GPU가 아니다'라는 고백으로 시작한다. 텐스토렌트 Wormhole N300은 픽셀 하나 그릴 수 없고 비디오 출력이 없으며 CUDA도, 올라마 원클릭 설치도 없다. 대신 뒤쪽에 있는 두 포트는 영상 출력이 아니라 네트워킹용이다. 오랫동안 로컬에서 진지한 모델을 돌리려면 답은 늘 '엔비디아를 사라'였고, 이 영상은 엔비디아가 아닌 대안이 로컬 AI에서 실제로 경쟁할 수 있는지를 수치로 확인한다.

N300은 칩 2개, 메모리 24GB, 가격 약 1,400달러다. 몇 달 방치 후 카드가 죽어 강제 펌웨어 리플래시와 버전 충돌을 거쳐 겨우 인식됐을 만큼 아직 완전한 플러그앤플레이는 아니다. 그러나 vLLM 서버로 Llama 3.1 8B를 올리자 워밍업 뒤 30~31토큰/초가 나왔고, 동시 8개 요청에서는 총 164토큰/초로 단일 스트림의 약 5배 처리량을 보였다. 프롬프트 처리는 초당 3,700~4,000토큰 수준이었다.

내부 구조는 GPU와 완전히 다르다. 엔비디아 CUDA 코어처럼 작은 코어의 바다가 아니라, 칩 위 네트워크로 연결된 106개의 큰 코어 격자이며 각 코어 안에는 다섯 개의 RISC-V CPU가 들어 있다. 이 CPU들은 연산을 직접 하지 않고 전용 매트릭스 엔진으로 데이터를 흘려보내는 교통 정리 역할을 한다. 저수준 프로그래밍용 오픈소스 SDK인 Metallium이 있지만, 대부분은 이를 감싸주는 vLLM만 써도 된다.

뒷면의 QSFP 포트는 카드 간 네트워킹으로, DGX Spark에 쓰이는 것과 같은 종류다. 엔비디아가 소비자용 GPU에서 NVLink를 3090 이후 없애 PCIe로 확장하며 성능 손실을 감수하게 만든 것과 달리, 텐스토렌트는 데이터센터급에서나 보던 카드 간 패브릭을 1,400달러 카드에 넣었다. 여러 카드를 하나처럼 묶을 수 있다는 베팅이지만, 카드가 하나뿐이면 이 장점은 쓸 수 없다.

발표자는 같은 본체에 RTX 5080을 꽂아 동일 조건으로 비교했다. 같은 8비트 양자화에서 엔비디아는 93토큰/초로 텐스토렌트의 약 3배였고, 프리필도 크게 앞섰다. N300이 약 70W만 쓴다는 점이 효율에서 반격 지점일 듯했지만, GPU가 훨씬 많은 토큰을 뽑아내 와트당 효율에서도 모든 배치 크기에서 앞섰다. 메모리 32GB의 AMD R9700도 시험했는데 속도는 중간, 효율은 셋 중 꼴찌였다.

주요 인사이트

• 이 영상은 텐스토렌트의 협찬이 아니며 카드도 지인에게 받은 것으로, 독립적인 실측 비교라는 점을 발표자가 명시한다.
• 텐스토렌트 공식 수치는 같은 모델에서 약 44토큰/초로, 발표자의 30토큰/초와 차이는 하드웨어가 아니라 양자화 방식(일부 층에만 BFP4 적용) 등 소프트웨어 최적화에서 비롯된 것으로 분석된다.
• 단일 N300의 현실적 상한은 24GB 메모리로, 충분한 컨텍스트를 쓰면 70~90억 파라미터 범위가 실용적이며 Gemma 4·Qwen 3.5/3.6 같은 최신 모델은 아직 포팅되지 않았다.
• RTX 5080이 이기는 이유는 칩이 마법 같아서가 아니라 15년간 축적된 CUDA 소프트웨어 때문이며, 도전자들의 실력은 소프트웨어 스택의 성숙도에 좌우된다.
• 지금 당장 빠른 원클릭 로컬 AI가 필요하면 GPU나 Mac이 낫고, 텐스토렌트 카드는 비엔비디아 환경에서 AI 실리콘을 직접 배우고 소프트웨어가 따라잡을 것에 베팅하는 실험자에게 어울린다.

자주 묻는 질문

관련 AI 소식