AI 칩 지도 정리: CPU·GPU·TPU·NPU·LPU를 가르는 유연성과 특화라는 하나의 규칙

핵심 메시지

• 칩을 가르는 기준은 유연성과 특화라는 하나의 축이다. 범용일수록 어떤 일에도 쓸 수 있지만 낭비가 크고, 특화될수록 한 가지 일을 싸고 빠르게 하는 대신 다른 일에는 쓸모가 없어진다.
• 현대 AI 하드웨어에서 진짜 적은 연산이 아니라 데이터 이동이다. 오른쪽으로 갈수록 등장하는 칩들은 각기 다른 방식으로 데이터 이동을 줄이려는 시도다.
• 구글은 2013년에 범용을 포기하는 선택을 했고, 그 결과가 2015년 데이터센터에 배치된 TPU다. 2017년 논문에서 추론 워크로드 기준 비교 대상 대비 와트당 성능이 30~80배로 보고됐다.
• 워크로드가 아직 변하고 있으면 범용 하드웨어가 유리하고, 워크로드가 안정되고 규모가 커지면 전용 하드웨어가 비용과 지연, 전력에서 앞선다. 영상 디코딩과 암호 연산이 이미 그 길을 걸었다.
• AI 하드웨어가 칩 하나를 뜻하던 시대는 끝나고 포트폴리오의 시대가 시작됐다. 범용 시대의 승자조차 축 전체에 분산 투자하고 있다.

쉽게 이해하기

영상은 CPU, GPU, TPU, NPU, LPU, IPU처럼 끝없이 늘어나는 세 글자 약어를 외우는 대신, 하나의 축 위에 배치해 보자고 제안한다. 축의 한쪽 끝은 유연성이고 반대쪽 끝은 특화다. 진행자는 이것이 공식적인 하드웨어 분류 체계가 아니라 렌즈라는 점을 분명히 하지만, 어떤 칩이 어떤 작업에서 이기는지를 예측하는 데는 이 렌즈가 잘 작동한다고 말한다.

축의 가장 왼쪽에는 CPU가 있다. 진공관 1만 8천 개를 쓰던 초기 전자계산기에서 시작해 1971년 인텔 4004로 한 칩에 담긴 CPU는, 복잡한 논리 한 줄기를 빠르게 처리하도록 설계된 강력한 코어를 가진다. 바로 그 철학 때문에 신경망 학습에는 잘 맞지 않는다. 학습은 영리한 한 줄기 사고가 아니라 같은 곱셈을 수조 번 반복하는 일이기 때문이다. 반면 1999년 지포스 256으로 범주가 굳어진 GPU는 픽셀처럼 병렬적인 문제를 위해 가벼운 코어 수천 개를 두었고, 신경망 역시 병렬 문제라는 발견이 지난 15년을 만들었다.

오른쪽으로 가면 전용 칩들이 나온다. 구글의 TPU는 곱셈 누산 셀을 256×256 격자로 배치한 시스톨릭 어레이를 심장으로 삼아, 데이터가 파도처럼 흘러가며 메모리 접근과 제어 부담을 줄인다. 세레브라스는 접시만 한 웨이퍼 규모 칩으로 거리를 줄였고, 최신 세대는 4조 개의 트랜지스터와 90만 개 코어, 실리콘 위에 얹은 44GB 메모리를 갖췄다. 클라우드 사업자들은 학습용과 추론용 칩을 각각 만들어 그동안 지불하던 마진을 회수하고 있고, 그록의 LPU는 결정론적 실행과 온칩 SRAM으로 예측 가능한 추론을 노렸다.

가장 오른쪽 끝에는 모델 자체를 실리콘에 구워 넣는 시도가 있다. 탈라스의 칩은 사용자당 초당 약 1만 7천 토큰이라는 수치를 보고했지만, 무겁게 양자화된 소형 모델을 기준으로 한 값이고 품질 저하도 회사가 인정한다. 다른 기반 모델을 쓰려면 다른 칩을 만들어야 한다. 칩과 워크로드가 같은 물건이 되는 지점, 곧 특화의 논리적 종착지다.

소비자 기기 쪽에는 더 작은 규모로 같은 규칙이 적용된다. 2017년 애플이 도입한 뉴럴 엔진 이후 스마트폰 칩에는 NPU가 들어가고, 노트북 프로세서에도 탑재된다. 목표는 최고 속도가 아니라 최소 전력으로 추론을 돌려 배터리를 지키는 것이다. CPU와 GPU를 한 패키지에 합쳐 메모리를 공유하는 APU, 제조 후에도 회로를 다시 짤 수 있는 FPGA, 메모리 배열 안에서 곧바로 연산하는 인메모리 컴퓨팅까지가 지도의 나머지 칸을 채운다.

주요 인사이트

• 특화가 유리해지는 시점을 예측하는 규칙은 간단하다. 워크로드가 아직 바뀌고 있으면 범용이 이기고, 워크로드가 예측 가능해지고 규모가 커지면 전용 실리콘이 이긴다. 영상 디코딩과 암호 연산이 이미 이 길을 걸었고 AI는 지금 그 중간에 있다.
• 학습은 여전히 프로그래밍 가능성을 보상하지만 추론은 경제성이 가장 혹독한 영역이라, 새로운 하드웨어 베팅이 추론 쪽에 집중되는 것은 자연스러운 결과다.
• 토큰을 한 개씩 뱉는 추론에서는 연산보다 메모리와 프로세서 사이의 데이터 이동이 더 큰 제약이자 전력 소비원이다. 지도 오른쪽 칩들이 서로 달라 보여도 결국 같은 문제를 공격하고 있다.
• 새로운 세 글자 칩 이름을 만났을 때는 두 가지만 물으면 된다. 어떤 워크로드에 특화됐는가, 그리고 그 워크로드가 전용 실리콘을 가질 만큼 안정적인가.
• 인메모리 연산이나 뉴로모픽처럼 데이터를 아예 움직이지 않게 만드는 연구가 성공하면 이 지도 자체가 10년 안에 다시 그려질 수 있다.

자주 묻는 질문

관련 AI 소식