OpenAI 컴퓨트 전략 - 데이터센터·자체 칩·전력난, 사친 카티가 밝힌 AI 인프라의 현실

핵심 메시지

• OpenAI는 올해 컴퓨트에만 약 500억 달러를 쓸 계획이며, 업계 전체 지출은 약 7천억 달러에 이를 것으로 언급됐다.
• AI 데이터센터는 '전기(전자)를 토큰으로 바꾸는 거대한 공장'으로, 칩·냉각·전력망까지 모두 새로 설계·투자해야 하는 새로운 규모의 인프라다.
• OpenAI는 워크로드와 모델을 정확히 알기에 자체 칩을 설계해 '와트당 토큰 수'를 극대화하려 하며, 코드네임 '할라피뇨(jalapeno)' 칩은 설계부터 테이프아웃까지 9개월밖에 걸리지 않았다.
• 가장 큰 걱정은 과잉 건설이 아니라 수요를 못 따라가는 '건설 부족'이며, 물리적 공급망은 그만큼 빠르게 움직이지 못한다.
• AI가 이미 AI 연구와 칩 설계를 돕고 있어, 앞으로 AI가 스스로 다음 세대 AI에 필요한 시스템과 칩을 설계하는 '재귀'의 세계가 멀지 않다는 전망이다.

쉽게 이해하기

스탠퍼드 교수이자 인텔 CTO를 지낸 사친 카티는 현재 OpenAI에서 '산업용 컴퓨트(Industrial Compute)' 총괄을 맡고 있다. MAD 팟캐스트 진행자 매트 터크와의 대담에서 그는 지금 벌어지는 데이터센터 건설이 고속도로나 철도 건설에 비견될 만큼 '인류가 지은 것 중 가장 큰 축'에 속한다고 말했다. 인텔에서라면 몇 달이 걸릴 컴퓨트 관련 의사결정을 OpenAI에서는 수요가 워낙 폭발적이라 매일같이 빠르게 내려야 한다는 것이다.

그는 AI 데이터센터를 '전자를 토큰으로 바꾸는 거대한 공장'에 비유한다. 축구장 크기의 공간에 액체냉각 장비가 들어서고, 칩이 매우 뜨겁게 작동하기 때문에 데이터홀 단위와 칩 단위 모두에서 냉각이 필요하다. 전력을 나르는 케이블과 변압기조차 뜨거워져 식혀야 한다. 칩을 더 뜨겁게 돌릴수록 메모리 대역폭과 연산량이 늘어나므로, 잘 식히는 것이 곧 더 많은 지능을 생산하는 길이라고 설명한다.

전력 문제에서 카티는 데이터센터가 '기존 전력망에서 전기를 빼앗지 않는다'는 원칙을 강조한다. 여유 용량이 없으면 가스·태양광·수력 발전과 송전선·변압기·변전소를 새로 짓도록 자금을 대며, 그 결과 미국을 비롯한 전 세계의 전력망 인프라가 빠르게 현대화되고 있다고 말한다. 전력망 한계에 부딪히는 곳에서는 가스터빈 등 '미터 뒤편(behind the meter)' 자체 발전을 도입하며, 원자력에 대해서는 '가장 밀도 높고 깨끗한 에너지'라며 '빨리 올수록 좋다'고 평가했다.

OpenAI는 애플리케이션·모델 연구·데이터센터에 이어 이제 칩 사업까지 사실상 '풀 스택'으로 들어섰다. 자체 칩(코드네임 '할라피뇨')은 실행할 모델과 워크로드를 미리 안다는 점을 활용해 하드웨어를 공동 설계함으로써 '와트당 토큰 수'를 극대화하는 것이 목표다. 구글에서 TPU를 설계한 경험자들과 브로드컴과의 파트너십, 그리고 AI 활용 덕분에 9개월 만에 설계-테이프아웃을 마쳤다.

카티는 추론(inference)이 이미 컴퓨트 사용의 상당 부분, 어쩌면 다수를 차지한다고 본다. 합성 데이터 생성, 사후 학습(post-training), 테스트타임 컴퓨트가 모두 추론이기 때문에 학습과 추론을 굳이 구분하지 않는다는 것이다. 대규모 클러스터의 잦은 장애를 감추기 위한 새 네트워킹 프로토콜 'MRC', 기업에 토큰 공급을 보장하는 '보장 용량(guaranteed capacity)' 상품 등도 소개됐다.

주요 인사이트

• OpenAI의 컴퓨트 전략 'Stargate'는 특정 프로젝트가 아니라 여러 방식을 아우르는 '우산' 개념으로 진화했다. 마이크로소프트·AWS·구글·오라클 같은 하이퍼스케일러, CoreWeave 같은 신생 클라우드, Cerebras 같은 칩 파트너 등 모든 공급원을 포트폴리오로 활용한다.
• OpenAI는 데이터센터의 '소유주'가 아니라 '입주자(테넌트)'로서 컴퓨트를 소비하기로 약정하며, 막대한 건설 자금 조달은 파트너에게 맡기는 구조다. 오라클이 짓는 텍사스 애빌린 데이터센터에서 최신 모델을 학습 중이라고 밝혔다.
• 매출과 컴퓨트가 함께 3배씩 늘어왔다는 '스케일링'에 대한 확신이 투자 규모를 뒷받침한다. 게다가 AI가 연구를 수행하면서 실험 수가 인간 연구자 수의 한계를 넘어 폭증해, 연구용 컴퓨트 수요도 함께 폭발한다.
• 물 소비 논란에 대해 카티는 액체냉각이 '폐쇄 루프'로 물을 재순환하기 때문에 가정용 대비 실제 소비가 놀랄 만큼 적다며 오해라고 반박했다. 데이터센터 부지는 토지·인허가·전력·노동력을 기준으로 선정되며, 전기·배관 등 숙련 기능공 부족이 실질적 병목이라고 지적했다.
• 우주 데이터센터(궤도 컴퓨트)에 대해서는 공학적으로 언젠가 실현 가능하지만 발사 비용과 하드웨어 경제성이 낮아져야 하며, 모든 수요를 해결하기보다 '보완재'가 될 것이라고 전망했다.

자주 묻는 질문

관련 AI 소식