AI 칩 총정리: 엔비디아 GPU와 구글 TPU·아마존 트레이니엄 맞춤형 칩 비교

핵심 메시지

• GPU는 병렬 연산을 위한 범용 도구이고, 맞춤형 ASIC은 특정 작업 하나에 최적화된 전용 도구다.
• 학습 중심이던 수요가 추론 중심으로 옮겨가면서, 덜 강력하지만 효율적인 칩의 자리가 넓어지고 있다.
• 구글 TPU, 아마존 트레이니엄 등 클라우드 사업자의 자체 칩은 비용 절감과 엔비디아 의존도 완화를 노린다.
• 브로드컴은 하이퍼스케일러의 칩 설계를 뒤에서 받쳐주며 AI 붐의 최대 수혜자 중 하나가 됐다.
• 이 모든 칩의 생산은 사실상 TSMC 한 곳에 몰려 있고, 이는 지정학적 쟁점이 됐다.

쉽게 이해하기

엔비디아는 게임용 그래픽 칩 회사에서 생성형 AI의 심장으로 옮겨갔다. 영상에 따르면 최신 블랙웰 GPU는 지난 1년간 600만 개가 출하됐고, 72개 GPU를 하나처럼 묶은 서버 랙 한 대가 약 300만 달러에 팔리며 주당 1,000대씩 나가고 있다. 10월에는 시가총액 5조 달러를 처음으로 넘어서기도 했다.

GPU가 AI의 표준이 된 계기는 2012년 이미지 인식 대회에서 압도적 성적을 낸 알렉스넷으로 거슬러 올라간다. 화면의 모든 픽셀을 동시에 계산하려고 만들어진 병렬 처리 구조가 신경망 학습에도 그대로 들어맞았다. CPU가 강력한 코어 몇 개로 순차 작업을 처리한다면, GPU는 작은 코어 수천 개로 행렬 곱셈 같은 병렬 연산을 담당한다.

이제 무게중심은 학습에서 추론으로 이동하고 있다. 모델을 가르치는 단계는 연산량이 많아 GPU가 유리하지만, 사용자가 실제로 AI를 쓰는 추론 단계는 더 좁은 작업에 맞춰진 칩으로도 충분하다. 여기서 등장하는 것이 맞춤형 ASIC이다. GPU가 여러 용도를 감당하는 맥가이버 칼이라면 ASIC은 한 가지 일만 아주 빠르고 효율적으로 하는 전용 공구인데, 실리콘에 새겨진 뒤에는 바꿀 수 없다는 대가가 따른다.

구글은 2015년 첫 TPU로 이 길을 먼저 열었고 최근 7세대 아이언우드를 내놨다. 아마존은 애너푸르나랩스 인수를 통해 인퍼런시아와 트레이니엄을 만들어 왔고, 영상은 엔비디아 GPU가 한 대도 없이 트레이니엄만으로 채워진 인디애나주 데이터센터를 소개한다. 마이크로소프트의 마이아, 인텔의 가우디, 테슬라와 퀄컴의 시도까지 참여자는 계속 늘고 있다.

클라우드 밖에서는 기기 안에서 돌아가는 엣지 AI용 칩이 있다. 스마트폰이나 노트북의 메인 칩 안에 들어가는 NPU가 대표적으로, 데이터센터까지 오가지 않아 응답이 빠르고 개인정보를 기기에 남길 수 있다는 장점이 있다. 지금은 관심과 자금이 데이터센터에 쏠려 있지만, 시간이 지나면 휴대폰·자동차·웨어러블 쪽 비중이 훨씬 커질 것이라는 전망이 나온다.

주요 인사이트

• 맞춤형 칩 개발에는 최소 수천만 달러에서 수억 달러가 들기 때문에, 스타트업에게는 4만 달러가 넘는 엔비디아 GPU를 사는 편이 오히려 싸다. 자체 칩은 규모가 충분한 사업자만의 선택지다.
• 엔비디아의 진짜 해자는 칩 자체보다 CUDA를 중심으로 오랜 기간 쌓아온 개발자 생태계다. AMD가 개방형 소프트웨어 생태계로 맞서는 구도가 여기서 나온다.
• 구글은 TPU를 주로 내부용으로 써왔지만 앤트로픽과의 대규모 계약이 나오면서, 앞으로 외부에 더 개방할 수 있다는 관측이 제기된다.
• 칩 설계 역량을 전부 사내에 두지 않아도 되도록 뒤를 받쳐주는 브로드컴 같은 파트너의 존재가, 하이퍼스케일러들이 동시에 자체 칩에 뛰어들 수 있게 만든 조건이다.
• 칩 못지않게 전력 확보가 승부처로 지목된다. 영상에 인용된 전직 정책 자문은 미국이 칩에서는 여러 세대 앞서 있지만 에너지 구축에서는 위험을 안고 있다고 진단한다.

자주 묻는 질문

관련 AI 소식