AI 슈퍼사이클 정리 — GPU에서 HBM으로, 다시 전력과 냉각으로 옮겨가는 병목의 흐름

핵심 메시지

• 모든 사이클은 팽창한 뒤 쇠퇴하고 다음 사이클로 넘어가므로, 이미 달아오른 구간보다 그다음에 올 구간을 보는 편이 낫다.
• 학습 경쟁 국면에서는 GPU가 병목이었지만, GPU가 빨라지자 병목은 데이터를 갈아 끼워 주는 메모리로 옮겨갔다.
• 다음 병목으로 가장 많이 지목되는 것은 전력이며, 발전소보다 송전망과 변압기 같은 설비의 긴 리드타임이 더 큰 제약이다.
• 24시간 멈추면 안 되는 데이터센터의 특성 때문에 품질과 일관성 측면에서 원자력, 특히 소형 원자로가 다시 주목받고 있다.
• 발표자의 결론은 특정 종목이 아니라 흐름을 보라는 것 — 매몰되지 말고 조바심 내지 말고 다음 사이클을 예측해 보라는 것이다.

쉽게 이해하기

영상은 '반도체 슈퍼사이클'이라는 말이 뉴스를 뒤덮는 상황에서 시작한다. 지수가 가파르게 오르면 이미 투자한 사람도 불안하고 하지 않은 사람도 조바심이 난다. 발표자는 여기서 한 발 물러설 것을 권한다. 사이클은 언제나 성장한 뒤 쇠퇴하고 그다음 사이클로 넘어가기 때문에, 이미 팽창한 구간에 집중하기보다 그 뒤에 어떤 구간이 오는지를 순서대로 이해하는 편이 낫다는 것이다.

첫 국면은 학습이었다. AI를 똑똑하게 만드는 경쟁이 벌어지자 필요한 것은 GPU였다. 발표자는 GPU를 중학생 1만 명, CPU를 박사급 인력 한 명에 비유한다. 학습은 데이터를 많이 넣고 최대한 빨리 반복하는 일이라 박사 한 명보다 중학생 1만 명이 유리하다. 오픈AI, 앤스로픽, 구글, 메타 같은 모델 개발사들이 GPU를 대량으로 사들였고, 설계만 하는 엔비디아 뒤에는 실제 생산을 맡는 파운드리 TSMC와 생산 장비를 사실상 독점한 ASML이 있었다.

GPU 성능이 올라가자 병목은 메모리로 이동했다. 중학생들이 문제를 너무 빨리 푸는데 옆에서 문제를 바꿔 주는 사람이 못 따라가는 상황이다. 그래서 한 장짜리 D램을 햄버거 패티처럼 쌓아 올린 HBM이 등장했고, 지금은 8단이 상용화되어 있고 12단 개발 경쟁이 벌어지고 있다. 이를 '메모리 월'이라 부른다. 연간 생산 물량이 이미 다 팔려 예약해도 1년 반 뒤에나 받을 수 있고, 리드타임이 길어지면 받을 때쯤 구형이 되는 문제까지 생긴다. 대응책으로 최신 칩은 학습에, 구형 칩은 내부 업무에 쓰는 피라미드식 배분이나 자체 칩 개발이 나온다.

다음 병목으로 많이 꼽히는 것은 전력이다. 데이터센터 하나를 돌리는 데 도시 몇 개분 전기가 필요할 수 있다는 이야기가 나올 정도다. 그런데 발전소만으로 끝나지 않는다. 전기를 끌어오는 송전망, 전압을 맞춰 나눠 주는 변압기 같은 설비가 함께 필요한데, 이런 장비는 반도체처럼 찍어낼 수 없고 지역과 규격과 인증을 반영해 주문 제작해야 해서 리드타임이 2년을 넘기기도 한다. 미국은 전력 설비 노후화가 심한 상태에서 수요가 몰리고 있다.

에너지원과 열 문제도 함께 따라온다. 재생에너지 기술이 좋아져 값싼 전기를 만들 수 있게 됐지만 태양광은 해가, 풍력은 바람이 필요하다. 24시간 멈추면 안 되는 데이터센터 입장에서는 품질과 일관성 면에서 원자력이 다시 매력적으로 보이고, 데이터센터 옆에 붙일 수 있는 소형 원자로 개념도 이 맥락에서 나온다. 에어컨을 18도로 맞춰도 더운 데이터센터의 발열을 잡기 위해 반도체를 기름 같은 액체에 담그는 액침 냉각도 주목받는다.

주요 인사이트

• 수만 개의 GPU가 한 작업을 나눠 하려면 서로 빠르게 소통해야 하는데, 구리선은 발열과 거리에 따른 신호 감쇠, 전력 소모라는 한계가 있어 빛으로 신호를 보내는 광통신이 대안으로 떠올랐다.
• 실리콘 포토닉스는 반도체 사이뿐 아니라 반도체 내부의 신호까지 빛으로 처리하자는 개념으로, 발표자는 엔비디아 최고경영자가 이를 유독 노골적으로 자주 언급한다는 점을 흥미롭게 본다.
• 학습 국면에서 밀렸던 CPU가 돌아온 이유는 목적의 변화다. 똑똑해진 AI를 실제 사용자에게 서비스하려면 사용자 요청을 처리할 CPU가 다시 필요해진다.
• 인터넷 연결 없이도 기기 안에서 AI가 돌아가는 온디바이스 환경을 위해서는 신경망 연산에 특화된 NPU가 필요하고, 애플·인텔·퀄컴이 이 경쟁에 뛰어들어 있다.
• HBM이 문제를 계속 갈아 끼워 주는 역할이라면 SSD는 지금까지 푼 문제를 쌓아 두는 거대한 창고에 가깝다. 느려도 되지만 대용량이 필요한 자리를 맡는다.

자주 묻는 질문

관련 AI 소식