데이터센터 전력 효율과 와트당 토큰: GPU 전력 상한과 전력망 유연성을 다룬 현장 인터뷰 정리

핵심 메시지

• 데이터센터 전력의 가장 큰 몫은 GPU 연산이고 그다음이 냉각과 운영 부대 설비다.
• 전력과 성능의 관계는 비선형이어서, 일정 지점을 넘으면 전력을 더 넣어도 토큰이 그만큼 늘지 않는다.
• GPU 전력 상한과 클럭 조정은 이미 존재하는 제어 수단이며, 문제는 언제 얼마나 조일지 판단하는 소프트웨어다.
• 데이터센터를 전력 소비자에서 전력망에 응답하는 자원으로 바꾸자는 '유연성' 논의가 최근 부상했다.
• 환경적 동기와 사업적 동기가 겹친다는 점이 이 분야의 특징이다. 전력을 아끼면 요금도 줄기 때문이다.

쉽게 이해하기

이 인터뷰는 GPU 기술 콘퍼런스 현장에서 진행됐다. AI 인프라 스타트업 페블에서 AI 총괄을 맡은 케발 샤는 회사가 데이터센터의 에너지 효율을 다루며, 같은 전력으로 더 많은 토큰을 만들어 내는 것이 목표라고 소개했다. 데이터센터가 전력과 물을 집어삼키는 존재로 자주 묘사되지만 결국 풀 수 있는 물리 문제 아니냐는 진행자의 질문에, 그는 어느 정도 동의하면서 '데이터센터 유연성'이라는 개념을 꺼냈다.

먼저 전력이 어디서 소모되는지에 대한 설명이 이어졌다. 가장 많은 몫은 GPU 연산이 차지하고, 그다음이 냉각, 그리고 운영에 따르는 부대 소모가 뒤따른다. 그는 미국에서 가장 효율이 좋은 데이터센터의 전력 사용 효율 지표가 1.2에서 1.3 수준이라고 언급하면서, 냉각이나 부대 설비 대신 실제 연산 쪽으로 전력을 더 밀어 넣을 여지는 늘 남아 있다고 말했다.

핵심 논점은 프로비저닝과 실제 사용의 간극이다. 데이터센터는 보통 GPU가 뽑을 수 있는 최대 소비 전력을 기준으로 전력을 확보해 두지만, 실제로 돌아가는 작업은 그만큼을 항상 쓰지 않는다. 게다가 전력과 성능의 관계가 선형이 아니어서 어느 지점을 넘어서면 전력을 더 준다고 토큰이 그만큼 늘지 않는다. 그래서 클러스터의 상태 정보와 추론 서버의 지표를 함께 읽어 성능 손실 없이 전력을 깎을 수 있는 여유를 찾아내는 것이 소프트웨어의 역할이 된다. 실제로 조정하는 값은 GPU의 전력 상한과 클럭 주파수 두 가지이며, 예로 한 고성능 GPU의 상한을 700와트에서 500와트로 낮추는 식이다.

유연성 구상은 여기서 한 걸음 더 나간다. 회사의 시스템이 전력망과 GPU 클러스터 사이에 놓여 양쪽을 중개하고, 전력망이 부하를 줄여 달라는 신호를 보내면 클러스터 상태를 살펴 감당 가능한 만큼 전력을 낮춘다는 것이다. 그는 데이터센터가 단순한 소비자를 넘어 필요할 때 전력망에 되돌려 주는 존재가 될 수 있다고 보았고, 이런 유연성이 지역 사회의 전기 요금 상승을 억제하는 데 도움이 된다는 연구가 최근 나오기 시작했다고 전했다.

회사의 출발점은 원래 탄소 회계였다. 어떤 칩을 쓰는지, 제조 과정에서 얼마나 배출됐는지, 운영 중에 얼마나 배출되는지를 측정해 주다가, 고객들과 이야기를 나누면서 전력 자체가 AI 확장의 더 큰 병목이라는 판단에 이르렀다고 한다. 팀은 열 명 남짓이고 대부분 산호세에 있다. 그는 신규 데이터센터가 전력망에 연결되기까지 7년이 걸린다는 현실을 언급하며 버지니아와 텍사스, 애리조나에서 실증을 진행 중이라고 밝혔다.

주요 인사이트

• 전력 상한을 걸면 성능이 떨어진다는 통념과 달리, 전력-성능 곡선이 꺾이는 구간에서는 상한을 걸어도 토큰 처리량이 거의 유지된다. 절감의 여지는 하드웨어 교체가 아니라 운영 방식에 있다는 뜻이다.
• 최대 소비 전력 기준으로 설비를 확보하는 관행 자체가 낭비의 근원이다. 실제 워크로드가 그 수준을 계속 쓰지 않기 때문에, 측정과 제어만으로도 회수할 여지가 생긴다.
• 학습 작업이 만드는 급격한 전력 변동은 총량보다 더 까다로운 문제다. 마을 하나가 쓸 만한 전력을 갑자기 켰다가 끄는 패턴은 애초에 전력망이 상정한 사용 형태가 아니다.
• 신규 데이터센터의 계통 연계에 7년이 걸린다는 점은, 새로 짓기보다 이미 있는 설비에서 효율을 끌어내는 접근이 현실적인 이유를 설명해 준다.
• 탄소 배출을 측정하던 회사가 측정에서 멈추지 않고 문제 해결로 옮겨 간 경로는, 인프라 분야에서 계측 도구가 제어 도구로 확장되는 흔한 전개를 보여준다.

자주 묻는 질문

관련 AI 소식