2026 AI 컴퓨팅 현황: 램다 CTO 스티븐 발라반이 말하는 GPU 신화와 데이터센터 경제학

핵심 메시지

• GPU 컴퓨팅은 상품(commodity)이 아니다. 토지·전력·데이터센터 건설·가상화·클라우드 소프트웨어까지 수직 통합된 복합 서비스다.
• H100 같은 GPU를 5년 뒤 버린다는 통념은 틀렸다. 회계상 감가상각(약 6년)보다 실제 경제적 수명이 길고, 램다는 2023년 H100을 지금 더 비싸게 임대하고 있다.
• 기가와트급 AI 팩토리의 비용은 발전소보다 데이터센터, 데이터센터보다 서버(GPU)가 압도적으로 크다. 그래서 단위 원가의 핵심은 감가상각과 가동률이다.
• 엔비디아의 진짜 해자는 CUDA만이 아니라 cuDNN·NCCL 같은 고도로 튜닝된 소프트웨어 스택이다.
• 발라반은 LLM이 소프트웨어를 '생성'하는 단계를 넘어 LLM 자체가 소프트웨어가 되는 '뉴럴 소프트웨어' 시대를 전망한다.

쉽게 이해하기

매트 터크(Matt Turck)의 MAD 팟캐스트에 네오 클라우드 램다(Lambda)의 공동창업자 겸 CTO 스티븐 발라반이 출연해, AI가 돌아가는 '물리적 층위'를 깊이 있게 풀어냈다. 몇 년 전만 해도 실리콘밸리에서는 GPU 컴퓨팅이 상품화되어 네오 클라우드는 차별화가 어렵다는 전망이 우세했지만, 현실은 정반대로 흘렀다는 것이 대담의 출발점이다.

발라반은 클라우드 컴퓨팅이 토지 확보와 전력 계약, 데이터센터 건설, 고성능 컴퓨팅 설계, 가상화, 그 위의 클라우드 소프트웨어까지 아우르는 고도로 수직 통합된 사업이라고 강조했다. GPU 임대료에는 온디맨드(소매)와 장기 계약(도매)이라는 두 가지 요율이 있는데, 지수(index)가 이 둘의 비중 변화를 제대로 반영하지 못해 가격이 떨어지는 것처럼 보일 수 있다고 지적했다.

그는 'GPU를 5년이면 버린다'는 비관론을 정면으로 반박했다. 회계상 감가상각 기간과 실제 사용 수명은 다르며, 램다는 2023년에 도입한 H100을 오히려 지금 더 높은 요율로 임대하고 있다고 밝혔다. 수요가 강하고, 채권자들이 엔비디아 GPU를 안정적인 자산군으로 보기 시작했기 때문이다.

비용 구조도 구체적으로 제시했다. 기가와트(10억 와트)당 발전소는 20~30억 달러, 데이터센터 건물은 100~150억 달러, 서버는 350~450억 달러 수준으로 서버 비중이 압도적이다. 데이터센터를 둘러싼 '물 소비' 논란에 대해서는, 최신 블랙웰·루빈급 시스템이 증발이 거의 없는 폐회로 직접 냉각(direct-to-chip) 방식을 쓴다며 상당 부분이 오해라고 반박했다.

대담 후반부에서는 램다의 남다른 창업 스토리(2012년 얼굴 인식 회사에서 시작해 클라우드로 전환), 에이전트가 늘리는 CPU 워크로드, 그리고 LLM이 소프트웨어를 만드는 것을 넘어 소프트웨어 그 자체가 되는 '뉴럴 소프트웨어'·'뉴럴 OS' 구상이 이어졌다.

주요 인사이트

• 컴퓨트를 물리 단위로 분해하면 이해가 쉬워진다. 초당 광자·가스 → 초당 줄(와트) → 데이터센터 효율(PUE) → 초당 부동소수점연산(FLOPS) → 초당 토큰으로 이어지는 파이프라인이다.
• 학습 효율이 10배 좋아진다고 컴퓨트 수요가 줄지 않는다. 세상의 전체 컴퓨트 양은 고정돼 있어, 같은 자원으로 10배 많은 토큰을 처리하게 될 뿐이다.
• 네오 클라우드의 진짜 장벽은 소프트웨어다. 1만 개 GPU 클러스터를 인밴드·아웃오브밴드·컴퓨트 패브릭까지 동시에 분할하려면 수천만~수억 달러 규모의 소프트웨어 투자가 필요하다.
• 장기 에이전트 워크플로에서는 지연시간이 거의 중요하지 않다. 작업을 던져두고 나중에 결과를 받는 방식이라 토큰당 비용만이 중요해진다.
• 발라반이 꼽은 과대평가 항목은 '검증 가능한 피드백이 없는 분야의 에이전트 워크플로'다. 반대로 자동화 테스트가 있는 소프트웨어 개발용 에이전트는 여전히 과소평가돼 있다고 봤다.

자주 묻는 질문

관련 AI 소식