AI 데이터센터 액체냉각 개조 현장: GPU 4,032개, 랙당 140kW, 광케이블 8,000km

핵심 메시지

• 한 금융 트레이딩 회사의 텍사스 학습 클러스터는 56개 랙에 4,032개 GPU를 담고 있으며, 원래 공랭용으로 지어진 건물을 액체냉각으로 개조해 만들었다.
• 최신 GPU 캐비닛은 최대 약 140kW를 소비하는데, 전통적인 공랭 랙이 10~40kW 수준이라는 점을 감안하면 냉각 방식 전환은 선택이 아니라 필수가 된다.
• 액체냉각은 누수와 세균 번식이라는 새로운 걱정거리를 데이터센터에 들여왔고, 그 대가로 감지 로프·차단 밸브·프로필렌글리콜 혼합 같은 대응책이 표준 설비가 됐다.
• 컴퓨트가 조밀해질수록 서버가 차지하는 면적은 줄고 변압기·냉동기 같은 지원 인프라가 커진다. 데이터센터의 형태 자체가 바뀌고 있다.
• GPU 비용을 계산할 때 하드웨어 값과 전기료보다 기회비용이 더 크게 작용한다는 것이 운영자의 설명이다.

쉽게 이해하기

한 금융 트레이딩 회사가 텍사스에 운영 중인 AI 학습 데이터센터를 공개했다. 기술 조직과 물리 설비 조직 책임자가 직접 안내한 이 시설에는 56개 랙에 4,032개의 GPU가 들어가 있고, 촬영 시점에도 실제 학습 작업이 돌아가고 있었다. 여기서 학습되는 모델은 범용 언어 모델뿐 아니라 거래 데이터와 거래 문제에 맞춘 자체 구조의 모델까지 다양하다고 한다.

흥미로운 점은 이 건물이 애초에 200kW급 랙을 감당하도록 지어지지 않았다는 사실이다. 최신 GPU 캐비닛 하나가 피크에서 약 140kW를 먹는데, 전통적인 공랭 랙은 10~40kW 수준이다. 그래서 기존 공랭 설비를 일부 남겨 두고(전체 캐비닛의 약 15%는 여전히 공랭이다) 나머지를 액체냉각으로 개조했다. 서버 슬레드를 밀어 넣으면 냉각수 공급·환수 배관과 54V 전원이 자동으로 연결되고, 열 부하의 85~90%가 GPU 위에 얹힌 콜드플레이트를 통해 빠져나간다.

수십 년 동안 데이터센터에서 물을 몰아내려 애썼는데 이제는 일부러 물을 끌어들이는 셈이라, 새로운 위험 관리가 따라붙는다. 서버 아래에는 누수를 감지하는 로프가 깔려 있고, 스위치의 관리 모듈이 이상을 감지하면 경보를 보낸다. 바닥 아래에도 별도의 감지 장치가 있어 밸브로 구역을 격리한다. 최근에는 시공 속도 때문에 배관을 천장으로 올리는 방식이 늘고 있지만, 이 시설이 바닥 아래 방식을 고수하는 이유도 바로 누수를 아래에서 가둘 수 있기 때문이다.

냉각 루프는 두 겹이다. 옥상 냉동기에서 약 18도의 유체가 내려오고, 이 건물 루프의 열을 열교환기가 받아 서버 쪽 “기술수 루프”로 옮긴다. 이 안쪽 루프는 콜드플레이트가 막히지 않도록 25마이크론까지 걸러낸 초순수에 프로필렌글리콜을 25% 섞어 쓴다. 세균이나 조류가 번식해 열교환 면을 막는 사태를 막기 위해서다. 각 캐비닛으로 가는 유량은 초음파 유량계로 재고 밸브가 균형을 맞춘다. 줄 앞쪽 캐비닛이 유체를 독차지하고 뒤쪽이 굶는 상황을 막기 위한 장치다.

전력 쪽은 냉각보다 융통성이 떨어진다. 냉각은 배관을 넉넉히 깔아 두면 유체를 이리저리 돌릴 수 있지만, 전력에는 차단기와 전류 한계가 있어 어느 버스에 몇 개 랙을 물리는지까지 신경 써야 한다. 학습 도중 차단기가 떨어지면 그대로 손실이다. 그래서 자체 개발한 모니터링 도구가 차단기 정보를 읽어 토폴로지를 이해한 상태로, 전력을 과하게 끌어가는 작업을 골라 노드를 미리 내리기도 한다. 한계선에 최대한 가깝게 달리되 안전장치로 통제된 후퇴 경로를 마련해 두는 방식이다.

주요 인사이트

• 액체냉각 전환은 냉각 기술만의 문제가 아니다. 누수 감지, 수질 관리, 유량 균형, 열 완충 탱크처럼 기존 데이터센터 운영에 없던 항목들이 한꺼번에 표준 업무로 편입된다.
• 전력 한계가 고정된 상태에서 컴퓨트 밀도가 올라가면 같은 전력을 훨씬 좁은 공간에서 쓰게 된다. 현장에 남아도는 빈 공간은 낭비가 아니라 밀도 상승의 결과다.
• 가장 빠른 구간의 배선은 광케이블이 아니라 구리다. 빛이 광섬유를 지나는 속도가 구리 속 전자보다 느리기 때문이며, 지연 시간 최적화는 층위마다 다른 선택을 요구한다.
• GPU 한 시간의 값은 하드웨어와 전기료로 환산되지 않는다. 컴퓨트 공급이 비탄력적인 상황에서는 내부 수요끼리 경쟁이 붙어 기회비용이 실제 비용을 압도한다.
• 설비 계획의 핵심은 정답을 맞히는 것이 아니라 선택지를 남기는 것이다. 앞으로 어떤 형태의 컴퓨트가 올지 모르는 상태에서 여러 미래에 두루 쓰일 배관과 배전을 미리 과하게 깔아 두는 판단이 개조를 가능하게 했다.

자주 묻는 질문

관련 AI 소식