AI 반도체 원리 해설: 시스톨릭 어레이·저정밀 연산·GPU와 TPU의 구조 차이

핵심 메시지

• AI 칩이 계산하는 핵심 단위는 행렬 곱이고, 그 안의 기본 연산은 두 수를 곱해 더하는 곱셈-누산이다. 곱셈보다 누산 쪽 정밀도를 높게 잡는 이유는 여러 항을 더하는 동안 반올림 오차가 쌓이기 때문이다.
• 곱셈 회로의 면적은 비트 수에 대해 제곱으로 늘어난다. 저정밀 연산이 신경망에서 그토록 잘 통한 단 하나의 가장 큰 이유가 여기에 있다.
• 예전 방식의 코어에서는 회로 면적의 약 8분의 7이 레지스터 파일을 읽고 쓰는 데, 즉 소프트웨어에는 보이지도 않는 데이터 이동에 쓰였다. 텐서 코어(시스톨릭 어레이)는 이 비율을 뒤집기 위해 등장했다.
• 칩 설계는 대부분 크기를 정하는 문제다. 데이터 이동에 면적의 10%를 쓸지 20%를 쓸지 정하면 시스톨릭 어레이와 레지스터 파일의 크기가 따라 결정된다.
• GPU는 작은 행렬 유닛을 칩 전체에 촘촘히 깔아 놓은 구조, TPU는 큰 행렬 유닛 몇 개에 벡터 유닛을 붙인 구조다. 각각 데이터 이동 대역폭과 면적 효율에서 반대 방향의 대가를 치른다.

쉽게 이해하기

드워케시 파텔이 AI 칩 스타트업 MatX의 CEO 라이너 포프를 다시 불러 이번에는 데이터센터가 아니라 칩 내부를 들여다봤다. 포프는 구글에서 소프트웨어 효율화와 컴파일러, TPU 아키텍처를 다뤘던 인물이다. 대화는 AND·OR·NOT 같은 논리 게이트에서 출발해 실제 양산 칩의 구조까지 한 단계씩 올라가는 칠판 강의 형식으로 진행됐다.

출발점은 곱셈-누산이다. 행렬 곱은 i, j, k 세 겹의 반복문 안에서 곱한 값을 계속 더하는 연산이고, 그 매 단계마다 곱셈-누산이 일어난다. 포프는 4비트 곱셈에 8비트 덧셈을 붙인 예를 손으로 계산해 보이며, 부분곱 16개를 만드는 데 AND 게이트 16개가 들고 그것들을 더하는 데 전가산기 16개가 든다고 정리했다. 일반화하면 p비트와 q비트를 곱할 때 AND 게이트도 전가산기도 각각 p 곱하기 q개가 필요하다.

여기서 나오는 결론이 저정밀 연산의 위력이다. 면적이 비트 수의 제곱으로 늘기 때문에 정밀도를 절반으로 낮추면 연산량이 두 배가 아니라 그 이상 늘어난다. 실제로 엔비디아는 오랫동안 정밀도를 절반으로 줄일 때마다 연산 성능을 두 배로 표기해 왔지만, B300 세대부터는 FP4가 FP8보다 세 배 빠르다고 제품 사양에 적기 시작했다고 포프는 설명했다.

그다음 주제는 데이터 이동 비용이다. 레지스터 파일에서 값을 골라 연산기로 보내려면 먹스(mux) 회로가 필요한데, n개 입력 p비트 먹스는 AND 게이트 n 곱하기 p개와 OR 게이트 (n-1) 곱하기 p개를 잡아먹는다. 곱셈-누산은 입력이 셋이라 먹스도 세 개가 붙는다. 포프가 든 예에서는 정작 계산을 하는 회로가 전체의 8분의 1뿐이고 나머지는 전부 데이터를 옮기는 데 쓰였다. 볼타 세대 이전 GPU의 CUDA 코어와 CPU가 바로 이 상태였다.

시스톨릭 어레이는 반복문을 두 단계 위로 올려 하드웨어에 굳혀 넣는 방식으로 이 문제를 푼다. 가중치 행렬을 어레이 안쪽 레지스터에 눌러 앉히고 여러 벡터에 걸쳐 재사용하되, 그 행렬을 처음 채워 넣을 때는 한 줄씩 천천히 밀어 넣어 바깥으로 나가는 배선을 최소화한다. 예전 TPU는 이 구조가 128×128 규모였다고 한다.

주요 인사이트

• 클럭 주파수를 높이려고 논리 사이에 파이프라인 레지스터를 끼워 넣으면 면적을 대가로 속도를 산다. 극단으로 밀면 면적 대부분이 동기화용 레지스터로 채워져 처리량이 오히려 떨어지는데, 이는 배치 크기를 줄이면 응답은 빨라지지만 시간당 처리량은 줄어드는 것과 같은 구조의 맞바꿈이다.
• 칩 전체의 클럭을 결정하는 진짜 병목은 자기 자신에게 값을 되먹이는 회로다. 누적 합처럼 결과가 다시 입력으로 돌아오는 구간은 중간에 레지스터를 끼우면 계산 자체가 달라져 버리기 때문에 쪼갤 수 없다.
• FPGA가 ASIC보다 약 10배 비싼 이유는 룩업 테이블 구조에 있다. 4입력 AND는 ASIC에서 AND 게이트 세 개면 되지만 룩업 테이블로 구현하면 32개 게이트가 든다. 대신 첫 FPGA는 1만 달러, 첫 ASIC은 테이프아웃 때문에 3천만 달러가 든다는 반대편 사정이 있다.
• CPU의 지연 시간이 들쭉날쭉한 가장 큰 원인은 캐시다. TPU 계열은 캐시 대신 스크래치패드를 쓰고, 스크래치패드 접근과 HBM 접근을 아예 다른 명령으로 분리해 하드웨어가 아니라 소프트웨어가 판단하게 만든다.
• 칩 에너지의 대부분은 비트를 0에서 1로 뒤집을 때 축전기를 충전했다 방전하는 스위칭 전력에서 나온다. 그래서 클럭을 1000배 늦추면 소비 에너지도 대략 1000배 줄지만, GPU는 배치 1000을 돌리는 반면 뇌는 배치가 하나뿐이라 이것이 곧 효율 우위가 되지는 않는다.

자주 묻는 질문

관련 AI 소식