AI 반도체 용어 정리: CPU·GPU·TPU·NPU와 HBM, AI 가속기·파운드리까지 한 번에

핵심 메시지

• CPU는 복잡한 계산을 순서대로 빠르게 처리하도록, GPU는 단순한 계산을 한꺼번에 병렬로 처리하도록 설계된 칩이다.
• 구글이 만든 AI 전용 칩이 TPU이고, 여러 기업이 만드는 AI 전용 연산 칩을 통칭해 NPU라고 부른다.
• 연산 코어 옆에 HBM 같은 전용 메모리를 붙여 하나로 묶은 것이 'AI 칩', 이를 보드로 만든 것이 'AI 가속기', 가속기와 CPU를 함께 담은 것이 'AI 서버'다.
• HBM은 메모리 다이를 층층이 쌓고 수직 통로를 많이 뚫어 데이터 병목을 줄인 메모리다.
• 설계는 팹리스가, 생산은 파운드리가 맡는 분업 구조가 자리 잡으면서 엔비디아 같은 설계 전문 기업이 부상했다.

쉽게 이해하기

AI 반도체 이야기는 늘 영어 약자로 시작한다. 이 영상에서 채승병 박사는 컴퓨터 안에서 계산을 담당하는 장치부터 되짚는다. 예전 '인텔 인사이드' 스티커로 익숙한 그 칩이 CPU(중앙처리장치)이고, 컴퓨터에 시키는 복잡한 계산을 빠르게 수행하도록 설계된 핵심 부품이라는 설명이다.

CPU만으로 감당하기 어려웠던 대표적인 작업이 그래픽 처리였다. 화면의 픽셀 하나하나에 어떤 색을 어떤 밝기로 표시할지 계산하는 일은 개별 연산 자체는 단순하지만 양이 엄청나게 많다. 그래서 단순한 계산을 한꺼번에 병렬로 처리하는 GPU가 등장했고, 이 구조가 행렬과 텐서를 계속 곱하고 더하는 머신러닝·딥러닝 연산에 잘 들어맞으면서 GPU가 AI 계산에 쓰이기 시작했다.

다만 GPU에는 그래픽용으로 만들어진 기능이 남아 있어 발열과 전력 소모 면에서 손해가 생긴다. 처음부터 AI 연산만을 위해 칩을 설계하자는 흐름에서 구글이 만든 것이 TPU(텐서 프로세싱 유닛)이고, TPU는 구글의 고유 상표이기 때문에 다른 기업들이 만드는 AI 전용 칩까지 아우르는 말로는 NPU를 쓴다. 일상에서 말하는 'AI 반도체'는 대체로 이런 AI 칩을 가리킨다.

AI 연산은 거대한 숫자 뭉치를 계속 넣었다 빼야 해서, 연산 유닛과 메모리가 멀리 떨어져 있으면 입출력이 병목이 된다. 그래서 요즘 AI 칩은 연산 코어 옆에 메모리를 바로 붙인다. 이때 쓰이는 전용 메모리가 HBM으로, 메모리 다이를 여러 층으로 쌓고 층 사이에 수직 통로를 많이 뚫어 데이터가 오갈 창구를 넓힌 구조다. 영상에서는 8단 제품이 흔히 쓰인다고 소개한다.

용어의 층위도 정리된다. 연산 코어와 HBM을 결합한 덩어리가 AI 칩, 그 칩을 시스템에 꽂을 수 있게 제어 반도체까지 붙여 만든 보드가 AI 가속기, 가속기 여러 장과 일반 연산을 맡을 CPU를 함께 담아 완성한 것이 AI 서버다. 이 서버들이 데이터센터의 랙에 서랍처럼 꽂혀 들어간다. 설계는 팹리스가 맡고 제조와 패키징은 파운드리가 맡는 분업 구조, 그리고 그 흐름을 처음 제시한 모리스 창과 TSMC 이야기까지 이어진다.

주요 인사이트

• AI 반도체를 이해하는 핵심은 개별 제품명이 아니라 '연산 코어 → AI 칩 → AI 가속기 → AI 서버 → 데이터센터'로 이어지는 층위 구조다. 뉴스에서 기업 이름이 나올 때 그 기업이 어느 층을 맡고 있는지 대입해 보면 밸류체인이 한눈에 들어온다.
• GPU가 AI에 쓰인 것은 처음부터 AI용으로 만들어졌기 때문이 아니라, 단순 연산을 대량으로 병렬 처리하는 구조가 우연히 딥러닝 연산과 잘 맞았기 때문이다. AI 전용 칩(TPU·NPU)의 등장은 그 '남는 기능'을 덜어내려는 시도다.
• HBM이 주목받는 이유는 속도 경쟁 자체보다 메모리와 연산 장치 사이의 병목 문제에 있다. 층을 쌓고 통로를 늘리는 방향은 곧 병목을 얼마나 줄이느냐의 문제라는 점에서, 메모리 기업의 기술 경쟁이 AI 칩 성능과 직결된다.
• 설계와 제조는 필요한 역량과 일하는 방식이 완전히 다르다. 한 회사가 둘 다 하면 효율이 떨어진다는 판단이 팹리스-파운드리 분업을 낳았고, 지금의 설계 전문 기업 전성시대를 만들었다.

자주 묻는 질문

관련 AI 소식