LLM 양자화란? 메모리와 대역폭을 줄이는 GPTQ·AWQ·QLoRA·GGUF 핵심 정리

핵심 메시지

• 양자화의 핵심은 가중치를 표현하는 '값당 바이트 수'를 줄이는 것으로, FP32(4바이트)에서 INT4(0.5바이트)로 낮추면 모델 크기를 최대 8분의 1까지 줄일 수 있다.
• LLM의 토큰 생성 병목은 연산량이 아니라 메모리 대역폭이며, 비트 수를 줄이면 읽어야 할 바이트가 줄어 사실상 대역폭이 늘고 생성이 빨라진다.
• 모든 양자화 기법은 '메모리 효율'과 '정확도' 사이의 긴장을 다루며, 단순 반올림(RTN)은 저비트에서 급격히 무너진다.
• GPTQ는 헤시안을 이용한 오차 보정으로, AWQ는 활성화가 큰 소수의 중요한 채널을 보호함으로써 4비트에서도 정확도를 거의 유지한다.
• QLoRA(NF4), GGUF(K-quant), SmoothQuant, BitNet 등 용도별 기법이 다양하며, 목표 압축률과 엔지니어링 예산에 따라 골라 쓴다.

쉽게 이해하기

메모리 사용량은 '파라미터 수 × 값당 바이트 수'라는 단순한 식이 지배한다. 700억 파라미터를 FP32(파라미터당 4바이트)로 담으면 가중치만 280GB로, A100 GPU 세 장이 넘는 메모리가 필요하다. 하지만 값당 바이트 수는 선택의 문제다. FP16은 절반, INT8은 4분의 1, INT4는 8분의 1로 줄인다. Llama 3 8B를 INT4로 낮추면 4GB에 불과해 30만 원대 게이밍 GPU에도 올라간다. 이것이 양자화가 하는 일이다.

흔히 AI 추론은 연산에 묶여 있다고 생각하지만, 토큰을 하나씩 생성하는 LLM에서는 병목이 거의 전적으로 메모리 대역폭이다. 배치 크기 1에서 토큰 하나를 만들려면 모든 가중치를 메모리에서 한 번씩 읽어야 하고, 이때 연산 활용률은 0.3%에 그친다. 비트 수를 절반으로 줄이면 대역폭이 사실상 두 배가 되어, INT4에서는 토큰 생성 속도가 눈에 띄게 빨라진다. 양자화는 파일만 줄이는 게 아니라 대역폭을 더 멀리 쓰게 한다.

양자화는 연속적인 값을 이산적인 격자에 대응시키는 일이다. 비트가 적을수록 격자가 성겨져 오차가 커진다. 오차를 줄이기 위해 텐서 전체에 하나의 스케일을 쓰는 대신, 행(채널)별 또는 소그룹별로 스케일을 두는 방식이 쓰인다. 특히 128개 단위의 그룹 양자화는 약 3%의 오버헤드만으로 4비트 정확도를 크게 끌어올려 LLM INT4의 표준이 됐다.

숫자 형식도 다양하다. BF16은 FP32와 같은 넓은 지수 범위를 유지해 학습에 선호되고, NF4는 정규분포의 분위수에 값을 배치해 0 근처에 레벨을 집중시켜 가우시안에 가까운 가중치에 최적이다. 적용 시점에 따라 학습 과정에 넣는 QAT와 이미 학습된 모델에 적용하는 PTQ로 나뉘는데, 속도와 단순함 덕분에 실제 배포 대부분은 PTQ를 쓴다.

대표적 기법으로 GPTQ는 가중치를 열 단위로 양자화하며 헤시안으로 남은 가중치를 보정하고, AWQ는 활성화가 큰 1%의 중요한 채널을 스케일링해 보호한다. 이 밖에 QLoRA(NF4로 동결한 본체에 소형 어댑터만 학습), GGUF(소비자 하드웨어용 K-quant), SmoothQuant(활성화의 어려움을 가중치로 이전), 그리고 애초에 세 값(+1·0·-1)으로 학습하는 BitNet까지 스펙트럼이 넓다. 결국 목표 압축률과 엔지니어링 예산에 맞춰 기법을 고르면 된다.

주요 인사이트

• '메모리 = 파라미터 수 × 값당 바이트 수'라는 단순한 식이 모델의 메모리 사용량을 지배한다.
• 배치 크기 1의 FP16 추론은 연산 활용률이 0.3%에 불과할 만큼 메모리 대역폭에 묶여 있다.
• NF4는 정규분포 분위수에 값을 배치해 0 근처에 레벨을 집중시키며, 가우시안에 가까운 신경망 가중치에 정보이론적으로 최적이다.
• 128 단위 그룹 양자화는 약 3% 오버헤드로 4비트 정확도를 크게 높여 LLM INT4의 표준이 됐다.
• 큰 모델일수록 파라미터 중복이 많아 양자화 잡음을 잘 흡수하며, 70B INT4가 7B FP16보다 나은 경우도 있다.

자주 묻는 질문

관련 AI 소식