세레브라스 CEO 인터뷰: GPU가 빠른 추론에 약한 이유와 웨이퍼 스케일 칩

핵심 메시지

• AI가 실제로 쓰이기 시작하면서 대화의 중심이 '추론을 얼마나 빠르게 하느냐'로 옮겨갔고, 핵심 지표는 사용자당 초당 토큰 수다.
• 추론은 매 토큰마다 모델 가중치를 메모리에서 연산부로 옮기는 '데이터 이동'이 지배해, 대용량 HBM에 의존하는 GPU는 이 지점에서 느려진다.
• 세레브라스는 HBM 대신 매우 빠른 SRAM을 쓰기 위해 접시만 한 웨이퍼 스케일 칩을 만들었고, 이는 업계가 겪는 3대 공급 병목을 피해 간다.
• 엔비디아의 그록 인수는 GPU 구조가 빠른 추론을 못 한다는 사실을 시장에 각인시킨 신호로 해석된다.
• 학습에서 CUDA 없이 훈련되는 최상위 모델이 늘며 CUDA 해자는 줄고 있고, 추론에는 사실상 해자가 없다는 것이 펠드먼의 주장이다.

쉽게 이해하기

펠드먼은 한때 신기한 볼거리에 가까웠던 AI가 충분히 똑똑해져 실제 업무에 쓰이기 시작하면서 속도가 전면에 나섰다고 말한다. 학습으로 AI를 '만들고' 추론으로 '쓰는데', 쓰기 시작하는 순간 빠른 토큰이 곧 생산성이 된다. 그는 인터넷이 느리던 시절 DVD를 배송하던 넷플릭스가 속도가 빨라지자 아예 영화 스튜디오로 변신한 것에 비유하며, 속도는 단순 효율이 아니라 완전히 새로운 사용 방식을 연다고 설명한다.

칩 지형은 하나의 칩이 모든 걸 하던 CPU 시대에서, 그래픽용 GPU를 거쳐, 특정 작업에 최적화한 ASIC으로 분화해 왔다. 엔비디아·AMD의 GPU, 구글 TPU, AWS 트레이니엄, 마이크로소프트의 신규 부품, 그리고 처음부터 AI만을 위해 설계된 세레브라스가 공존한다. 그는 다양한 해법이 경쟁하는 다중 실리콘 환경이 건강한 생태계라고 본다.

펠드먼은 현재 세 가지 공급 병목을 짚는다. 첫째는 GPU와 대부분의 ASIC이 쓰는 HBM 계열 메모리로, 소수 제조사가 만드는데 이미 매진 상태다. 둘째는 칩과 메모리를 실리콘 기판에 얹는 TSMC의 첨단 패키징 공정으로 역시 병목이다. 셋째는 3나노 최첨단 공장 용량이다. 세레브라스는 SRAM과 5나노 공정을 쓰고 이 메모리·패키징을 쓰지 않아 세 병목을 모두 비껴간다고 강조한다.

왜 GPU가 추론에서 느린가. 추론은 프롬프트를 처리하는 프리필(병렬화 가능)과 답을 한 단어씩 만들어 내는 디코드(순차적) 두 단계로 나뉜다. 디코드에서는 단어 하나를 만들 때마다 모델의 모든 가중치를 메모리에서 연산부로 옮겨야 하고, 이를 수천 번 반복한다. 이 이동이 전체 시간을 지배하는데 HBM은 이 지점에서 느리다. 세레브라스는 칩 위에 SRAM을 가득 채워 가중치 이동을 GPU보다 수천 배 빠르게 해 속도를 낸다고 말한다.

이 성과 뒤에는 '사막의 10년'이 있다. 2016년에 시작해, 접시만 한 단일 웨이퍼 칩을 만들려면 이전 최대 칩보다 수십 배 큰 면적에 전력 공급·냉각·패키징을 새로 발명해야 했다. 18개월간 월 800만 달러를 쓰고도 만들지 못하던 시기를 거쳐 2019년 처음 작동에 성공했고, 이후 최대 규모의 반도체 IPO로 상장했다. 대형 칩의 고장 위험은 약 100만 개의 동일 타일을 두어 문제가 생기면 예비 타일로 대체하는 방식과, GPU보다 차갑게 운용하는 수랭으로 관리한다.

주요 인사이트

• 추론의 본질은 연산량이 아니라 '가중치를 메모리에서 연산부로 옮기는 데이터 이동'이며, 병목이 여기 있다는 관점이 세레브라스 설계의 출발점이다.
• 특정 모델 구조(예: 트랜스포머)를 칩에 새겨 넣는 대신, 그 아래 공통 계산인 희소 선형대수를 가속하도록 설계해야 시장이 바뀌어도 살아남는다는 전략.
• 엔비디아가 그록을 인수한 사건은 'GPU면 충분하다'는 인식을 스스로 깨뜨려, 빠른 추론 시장의 존재와 성장세를 공인한 셈이라는 해석.
• CUDA 해자는 축소 중이다. 최상위 모델 중 일부는 이미 CUDA 없이(구글은 TPU, 앤스로픽은 트레이니엄에서) 학습되며, 추론은 API 전환이 몇 번의 조작으로 끝나 해자가 사실상 없다는 것.
• 에이전트형 AI가 웹 접속·데이터 수집 같은 '행동'을 CPU에 위임하면서, 가속기뿐 아니라 CPU 수요까지 함께 치솟고 있다는 점.
• 펠드먼은 공급이 수요를 앞질렀던 과거 거품과 달리, 지금은 이미 존재하는 수요를 공급이 따라가지 못하는 상황이라 거품과는 다르다고 본다.

자주 묻는 질문

관련 AI 소식