로컬 LLM용 VRAM 확보 비교 - 듀얼 GPU 카드로 192GB를 7천 달러에 채우기

핵심 메시지

• 로컬에서 대형 언어 모델을 돌릴 때 결국 발목을 잡는 것은 연산 성능이 아니라 VRAM 용량이다.
• 슬롯 하나를 둘로 쪼개 GPU 두 개를 얹은 카드는 별도 카드 두 장과 성능이 사실상 동일했고, 전력은 오히려 조금 덜 썼다.
• 이 카드의 진짜 가치는 속도가 아니라 밀도다. 같은 케이스에 더 많은 VRAM을 밀어 넣을 수 있어 192GB를 7천 달러 선에 맞출 수 있다.
• 인텔의 하드웨어는 괜찮지만 소프트웨어는 아직 따라잡는 중이라, 최신 모델 지원이 한두 달씩 늦는 것을 감수해야 한다.
• 메인보드가 PCIe 슬롯 분기를 지원하지 않으면 카드가 아예 인식되지 않는다. 구매 전 반드시 확인해야 할 조건이다.

쉽게 이해하기

로컬에서 대형 언어 모델을 돌리려는 사람에게 모든 문제는 결국 VRAM으로 수렴한다. VRAM이 많아야 더 큰 모델이 들어가고, 더 긴 문맥을 다루고, 동시에 더 많은 사용자를 감당할 수 있다. 알렉스 지스킨드는 이 지점에서 가격표를 나란히 놓는다. 엔비디아 RTX 프로 4000은 2,500달러에 24GB인 반면, 같은 24GB인 인텔 B60은 650달러다. 인텔의 주장은 '달러당 VRAM'이지만, 그는 값싼 VRAM과 쓸모 있는 VRAM은 다른 이야기라며 실측에 들어간다.

핵심 질문은 이것이다. 48GB가 필요할 때 B60 두 장을 사야 할까, 아니면 한 장에 GPU 두 개를 얹은 카드를 사야 할까. 후자는 크기가 일반 카드 한 장과 같아서 공간을 아낄 수 있다. 다만 이 카드는 GPU끼리 직접 통신하지 못하고 CPU를 거치는 구조라, 메인보드가 PCIe 슬롯 하나를 둘로 쪼개주는 분기 기능을 지원해야 한다. 진행자는 처음 장착했을 때 카드가 아예 인식되지 않아 BIOS에서 슬롯 분기를 설정하고 나서야 두 GPU를 모두 인식시킬 수 있었다.

모델별 결과는 한 방향으로 흐르지 않았다. 40억 파라미터 소형 모델에서는 상위 모델인 B70이 초당 92토큰으로 가장 빨랐고, 텐서 병렬로 묶인 B60 두 장이 그 뒤를 따랐다. 반면 4비트로 양자화해도 30GB에 육박하는 270억 파라미터 모델에서는 B60 한 장으로는 아예 실행이 불가능했고, 두 장을 묶었을 때 B70을 앞섰다. 용량이 부족하면 속도 비교 자체가 성립하지 않는다는 점이 그대로 드러난 셈이다.

정작 가장 궁금했던 비교, 즉 듀얼 GPU 카드와 별도 카드 두 장의 대결은 싱겁게 끝났다. 측정 오차 범위를 빼면 사실상 같은 속도였다. 슬롯 하나를 나눠 쓴다고 해서 손해 보는 것이 없었다는 뜻이다. 전력은 오히려 듀얼 카드 쪽이 129와트 대 134와트로 조금 덜 썼다. 반대로 영상 생성 모델처럼 연산량이 지배하는 작업에서는 VRAM이 아무리 많아도 도움이 되지 않았고, 원판 성능이 높은 B70이 확실히 빨랐다.

그렇다면 왜 더 비싼 듀얼 카드를 사야 하는가. 답은 밀도다. 슬롯 네 개짜리 케이스에 일반 2슬롯 카드를 채우면 최대 128GB지만, 같은 크기의 듀얼 카드로 채우면 192GB가 된다. 이 구성의 가격은 약 7,000달러로, 동일한 용량을 엔비디아 RTX 프로 5000으로 맞출 때의 24,000달러와 큰 차이가 난다. 물론 엔비디아는 CUDA 생태계와 더 새로운 세대의 메모리, 훨씬 높은 메모리 대역폭을 갖고 있어 토큰 생성 속도 자체는 더 빠르다는 점도 함께 짚는다.

소프트웨어에 대한 냉정한 평가도 빼놓지 않는다. 그가 사용한 인텔용 실행 환경은 널리 쓰이는 추론 서버의 갈래로, 원본보다 한 달 남짓 뒤처져 있다. 나온 지 한두 달 된 모델까지는 지원되지만 가장 앞선 모델을 곧바로 돌리기는 어렵다는 뜻이다. 다만 한 달 반 전 영상 때는 지원 목록에 없던 모델이 이번에는 들어와 있었다며, 개선 속도 자체는 긍정적으로 본다. 결론은 용도에 따라 갈린다. 소형 모델로 주로 대화만 한다면 강한 카드 한 장이 단순하고 빠르지만, 270억 파라미터 이상에 긴 문맥과 다수 사용자를 예산 안에서 감당해야 한다면 카드를 겹치는 쪽이 답이 된다.

주요 인사이트

• 로컬 LLM에서는 '얼마나 빠른가'보다 '아예 올라가는가'가 먼저다. 용량이 모자라면 성능 비교는 시작조차 못 한다.
• 슬롯 하나를 둘로 쪼개 쓰는 구조에 성능 손실이 없다는 것은, 이런 워크로드의 병목이 GPU 간 통신이 아니라 메모리 쪽에 있다는 방증이기도 하다.
• 작업 성격이 무엇에 묶여 있는지부터 따져야 한다. 텍스트 생성은 메모리에, 영상 생성은 연산에 묶여 있어 정반대의 선택으로 이어진다.
• 가격표에 없는 조건이 구매를 좌우한다. 메인보드의 슬롯 분기 지원 여부는 사양표 구석에 있지만 이것이 안 되면 카드는 그냥 인식되지 않는다.
• 저렴한 대안을 고를 때 실제로 지불하는 비용은 소프트웨어 지연이다. 최신 모델을 한두 달 늦게 쓰는 것을 감수할 수 있는지가 판단 기준이 된다.

자주 묻는 질문

관련 AI 소식