AI 데이터센터 구조 완전 해부 — 전력·냉각·GPU·HBM까지 돈이 흐르는 길을 따라가다

핵심 메시지

• 검색은 이미 있는 문서를 찾아주지만 생성형 AI는 매번 답을 새로 만든다. 같은 질문에도 연산이 10~100배 더 들고, 이것이 막대한 설비 투자의 출발점이다.
• 아마존·마이크로소프트·구글·메타 네 곳만 올해 약 7250억 달러를 인프라에 쓴다. 골드만삭스는 2026~2031년 총 7조 6000억 달러 규모의 건설을 전망한다.
• 이제 병목은 반도체가 아니라 전기다. 대형 신규 설비의 계통 연결 대기는 4~5년, 변압기 납기는 2년 반에서 4년까지 길어졌다.
• 랙 한 대가 120킬로와트를 쓰면서 공기 냉각이 한계에 도달했다. 액체 냉각이 2026년의 주류가 됐고, 열을 다루는 기업들이 조용히 승자가 되고 있다.
• 추론 비용은 소프트웨어만으로 3~10배까지 내려간다. 다만 이 거대한 투자 회로에 외부에서 새로 들어오는 돈은 이용자와 기업 고객의 결제뿐이라는 점이 최대 쟁점이다.

쉽게 이해하기

벤처 투자자 레오 추이가 올린 해설 영상은 단순한 질문에서 출발한다. 저녁에 챗봇에 "닭고기와 쌀로 뭘 만들까"라고 묻고 2초 만에 답을 받는 그 짧은 순간에, 도대체 어떤 설비가 움직이고 돈은 어디로 가는가. 그는 이 2초를 아주 느리게 되감아 전력, 냉각, 반도체, 메모리, 광통신, 소프트웨어까지 열 개 층으로 나눠 보여준다. 영상은 교육 목적이며 투자 조언이 아니라고 명시한다.

왜 지금인가에 대한 답은 '검색과 생성의 차이'다. 구글은 사서에 가깝다. 이미 정리해 둔 색인에서 문서를 꺼내주므로 질문 하나에 드는 비용은 1센트의 몇 분의 일 수준이다. 반면 생성형 AI는 작가다. 선반에 답이 놓여 있지 않아 매번 단어 하나씩 만들어낸다. 영상은 이 차이가 연산량 기준 10~100배이며, 주간 이용자 9억 명을 곱하면 산업 전체의 그림이 달라진다고 설명한다.

여기에 2020년 전후 확인된 이른바 규모 법칙이 겹쳤다. 모델을 키우고 데이터와 연산을 늘리면 성능이 예측 가능하게 좋아진다는 발견은, 지능을 '살 수 있는 것'으로 바꿔 놓았다. 소프트웨어 개선이 더 똑똑한 개발자를 뽑는 문제에서 자본 지출 경쟁 문제로 옮겨간 셈이다. 영상의 표현을 빌리면 소프트웨어가 콘크리트에 부어지고 메가와트로 측정되며 물로 식혀지는 중공업이 됐다.

실제 병목은 전기에서 드러난다. 과거 서버 랙이 5~10킬로와트를 썼다면 최신 AI 랙은 120킬로와트, 다음 세대는 600킬로와트에 근접할 것으로 예상된다. 대형 캠퍼스 하나가 원자로 한 기 분량인 1기가와트를 요구하는데, 연 1~2% 성장에 맞춰 설계된 전력망이 이를 받아줄 수 없다. 계통 연결 대기 물량은 4월 기준 약 410기가와트, 그중 87%가 데이터센터다. 그래서 기업들은 줄을 서는 대신 부지 옆에서 직접 발전하는 길을 택한다.

냉각도 지원 업무가 아니라 절반의 일이 됐다. 칩 한 장이 1000와트 넘는 열을 내고 랙 하나가 소형 히터 80대 분량의 열을 뿜는다. 공기로는 랙당 30~50킬로와트가 한계라, 칩 위에 냉각판을 얹는 직접 액체 냉각이 표준이 됐다. 마지막으로 영상은 돈의 흐름을 한 장의 지도로 합친다. 칩 공급사와 클라우드, AI 연구소가 서로 투자하고 계약을 주고받는 구조에서 외부 자금이 들어오는 통로는 결국 최종 사용자와 기업 고객의 지불뿐이라는 점을 짚는다.

주요 인사이트

• 전력 조달의 해법이 사업이 됐다. 마이크로소프트는 스리마일섬의 손상되지 않은 원자로를 되살려 835메가와트를 20년간 사들이기로 했고, 12~18개월이면 설치되는 연료전지와 2030년 이전에 지을 수 있는 가스터빈이 현실적 대안으로 떠올랐다. 다만 소형모듈원자로 업체들은 아직 매출이 거의 없는 '2030년대에 대한 옵션'이라는 것이 영상의 평가다.
• 한국 독자에게 가장 직접적인 대목은 메모리다. 추론은 연산보다 메모리 대역폭에 발목이 잡히는 작업이라, 칩 옆에 수직으로 쌓아 붙이는 HBM이 값비싼 핵심 부품이 됐다. 영상은 SK하이닉스가 세대마다 먼저 공급하며 약 60% 점유율을 쥐었고 삼성전자는 늦었다고 평가하면서, 2026년 5월 세 메모리 기업의 합산 시가총액이 4조 달러를 넘었다고 전했다.
• 가장 확실한 성장 구간으로는 액체 냉각이 꼽혔다. 엔비디아가 이기든 다른 곳이 이기든 열은 그대로 나오기 때문이다. 실제로 이튼은 보이드 서멀을, 슈나이더 일렉트릭은 모티베어를 인수하며 몇 달 사이 이 영역에 수십억 달러를 썼다.
• 엔비디아의 해자는 실리콘이 아니라 소프트웨어라는 점도 강조됐다. 경쟁사의 칩이 사양에서 앞서도 고객은 칩만 비교하는 것이 아니라 엔지니어 조직 전체를 다시 훈련시키는 비용까지 비교하게 된다. 반면 자체 칩을 만드는 대형 고객들을 뒤에서 돕는 설계 파트너 브로드컴은 어느 쪽이 이겨도 몫을 챙기는 위치에 있다.
• 비용 곡선은 빠르게 내려가고 있다. 여러 사용자의 요청을 한 번에 묶는 배칭, 대화 기억을 재사용하는 캐싱, 수치 정밀도를 낮추는 양자화만으로 3~10배의 비용 절감이 가능하다. API 가격이 1년에 80% 내려가는 것은 새 칩보다 이 소프트웨어 계층 덕분이라는 설명이다.
• 전기요금 부담은 이미 정치 문제가 됐다. 미국 13개 주를 아우르는 PJM 시장에서 데이터센터 수요가 용량 경매 비용을 90억 달러 넘게 늘렸고, 오하이오와 메릴랜드 일부 가정의 월 청구서가 16~18달러 올랐다. 건설 유예 논의도 나오고 있어 확장의 정치적 위험 요인으로 지목된다.

자주 묻는 질문

관련 AI 소식