RTX 3090 4장 개인 머신러닝 서버 조립기: 6000달러 부품 선택과 전력 문제 해결

핵심 메시지

• 총 6,000달러, VRAM 96GB, CUDA 코어 4만여 개 규모의 개인용 머신러닝 장비를 중고 부품 중심으로 구성했다.
• 목표는 최고 속도가 아니라 분산 학습·추론 알고리즘을 직접 구현해 보는 학습 환경을 갖추는 것이었다.
• GPU 여러 장을 제 대역폭으로 물리려면 CPU가 제공하는 PCIe 레인 수가 사실상 가장 중요한 자원이 된다.
• 이미지·영상 생성 작업에서 순간 전력 급증으로 시스템이 꺼지는 문제가 발생해 파워서플라이를 두 개로 나눠 해결했다.
• 중고 메인보드의 메모리 슬롯 불량, 케이스 규격 문제 등 조립 과정의 실패도 그대로 공개하며 대안을 제시한다.

쉽게 이해하기

개인이 집에서 쓸 머신러닝 장비를 어디까지 만들 수 있을까. 이 영상은 총 6,000달러를 들여 VRAM 96GB, CUDA 코어 4만여 개 규모의 장비를 조립한 과정을 부품 단위로 따라간다. 제작자는 이 장비로 링 어텐션, 스페큘레이티브 디코딩, 완전 샤딩 데이터 병렬 같은 분산 알고리즘을 직접 구현해 볼 계획이라고 밝힌다.

핵심은 그래픽카드 선택이다. 그는 몇 세대 전 아키텍처인 RTX 3090을 장당 800달러 안팎에 네 장 구했다. 두 장은 공랭, 두 장은 수랭 모델이다. 최신 세대에서 지원하는 저정밀도 연산 같은 기능은 포기하게 되지만, 목표가 '세상에서 가장 빠른 추론'이 아니라 '내 코드가 하드웨어 한계까지 도달하는지 확인하며 배우는 것'이라면 구형 카드로도 충분하다는 판단이다. 중고 시세와 전력 대비 성능을 함께 고려한 선택이기도 하다.

그다음으로 비중이 큰 결정은 CPU와 메인보드였다. 중고로 650달러에 구한 16코어 32스레드 워크스테이션급 CPU를 고른 이유는 코어 수가 아니라 PCIe 레인 수였다. 그래픽카드 사이에 통신량이 많은 텐서 병렬 같은 기법을 쓰려면 카드마다 충분한 대역폭이 필요하기 때문이다. 그는 GPU 한 장당 여덟 스레드 이상은 큰 의미가 없다고 보고, 데이터 로딩과 전처리에 병목이 생기지 않는 선에서 타협했다. 메인보드는 600달러짜리 중고 워크스테이션 보드로, 확장 슬롯이 넉넉하고 ECC 메모리와 원격 관리 기능을 지원한다.

가장 많은 시간을 잡아먹은 문제는 전원이었다. 처음에는 1600W 파워서플라이 하나로 끝내려 했지만, 이미지·영상 생성 작업 중에 시스템이 반복해서 꺼졌다. 그는 이를 고장이 아니라 순간 전력 급증에 대한 보호 동작으로 해석했다. 각 카드의 전력을 250W로 제한하면 벽면 측정치가 한계에 못 미치는데도 꺼졌다는 점이 근거다. 결국 750W 보조 파워를 추가해 카드 한 장을 따로 물리자 문제가 사라졌고, 네 장 모두 기본 전력 제한으로 돌릴 수 있게 됐다.

완성된 시스템의 소비 전력은 유휴 상태 약 200W, 언어 모델 작업 약 1,400W, 이미지·영상 생성 작업 약 1,700W다. 운영체제는 우분투 24.04 LTS를 올렸고, 가상화 계층은 혼자 쓰는 장비라는 이유로 생략했다. 드라이버 설치 후 카드 네 장이 모두 인식되는 것을 확인했으며, 카드 간 대역폭은 초당 약 7GB로 기업용 장비에는 크게 못 미쳤다. 그럼에도 오픈웨이트 모델을 추론 서버로 띄워 초당 약 160토큰을 얻었다.

주요 인사이트

• 다중 GPU 구성에서 진짜 희소 자원은 코어 수가 아니라 PCIe 레인이다. 소비자용 플랫폼으로 카드를 여러 장 붙이기 어려운 이유가 여기에 있다.
• 전력 문제는 평균 소비량이 아니라 순간 최대치에서 터진다. 벽면 측정치가 여유로워 보여도 시스템이 꺼질 수 있다는 사례는 자가 조립 시 참고할 만하다.
• 이미지·영상 생성처럼 연산이 계속 몰리는 작업과 언어 모델 추론은 전력 특성이 다르다. 어떤 작업을 주로 돌릴지에 따라 전원 설계가 달라져야 한다.
• 구형 아키텍처를 택하면 최신 기능은 포기하게 되지만, 배우는 것이 목적이라면 하드웨어 한계에 도달하는 코드를 짜는 경험 자체는 동일하게 얻을 수 있다.
• 중고 부품은 가격 이점이 크지만 보증 반품이 불가능하다. 메모리 슬롯 불량으로 용량 일부를 포기해야 했던 사례가 그 위험을 보여준다.

자주 묻는 질문

관련 AI 소식