LLM 양자화 방식 비교 GPTQ GGUF AWQ, 내 GPU에 맞는 압축 고르기

핵심 메시지

• 양자화는 모델 가중치를 더 적은 비트로 표현해 필요한 메모리(VRAM)를 줄이는 압축 기법으로, 큰 GPU 없이도 대형 모델을 돌리게 해준다.
• FP32→FP16/BF16→4비트로 비트 수를 줄일수록 메모리는 줄지만 값 표현의 정밀도(품질)는 떨어지므로, 어떻게 줄이느냐가 핵심이다.
• 4비트 NormalFloat(NF4)는 가중치를 정규분포로 정규화해 균등 간격으로 나눠 저장하고, 추론 시에는 BF16으로 역양자화해 성능을 보완한다.
• TheBloke 같은 배포자가 올린 사전 양자화(pre-quantized) 모델을 쓰면 직접 양자화하는 과정을 건너뛰고 바로 불러올 수 있다.
• GPTQ는 GPU 추론, GGUF는 CPU 중심, AWQ는 중요도 낮은 가중치를 건너뛰는 신형 방식으로 각각 쓰임새가 다르다.

쉽게 이해하기

발표자는 "나는 GPU가 부족하다(GPU poor)"며, 작은 노트북으로는 700억(70B) 파라미터 모델을 그대로 돌릴 수 없어 양자화 같은 압축을 쓴다고 말한다. 실습은 구글 코랩 노트북에서 Zephyr 7B 모델을 기준으로 진행되며, 먼저 아무 압축 없이 모델을 불러와 비교의 기준을 만든다.

양자화의 원리는 값을 표현하는 비트 수를 줄이는 것이다. 기본형인 32비트 부동소수점(FP32)은 정밀하지만 메모리를 많이 쓰고, FP16이나 BF16으로 내려가면 표현이 조금 부정확해지는 대신 메모리가 줄어든다. 소수점 아래 작은 오차는 대체로 문제가 되지 않지만, 비트를 어떻게 줄이느냐에 따라 품질 손실 폭이 크게 달라진다.

실제 4비트 양자화에서는 NormalFloat(NF4)를 자주 쓴다. 가중치 값을 정규분포로 정규화하면 값에 구조가 생겨 균등한 간격으로 나눌 수 있고, 이를 4비트로 저장한다. 저장은 4비트로 하되 추론할 때는 BF16 등으로 역양자화(de-quantize)해 성능을 끌어올린다. 이 과정은 bitsandbytes 설정으로 지정한다.

매번 원본을 불러와 직접 양자화하는 것은 비효율적이므로, 이미 양자화해 특정 형식으로 저장해 둔 "사전 양자화" 모델을 쓰는 편이 낫다. 허깅페이스에는 TheBloke 같은 사용자가 만들어 둔 사전 양자화 모델이 수천 개 올라와 있어, 양자화 단계를 건너뛰고 바로 불러올 수 있다.

대표적인 사전 양자화 형식은 GPTQ, GGUF, AWQ 세 가지다. GPTQ는 4비트 사후학습 양자화로 GPU 추론에 초점을 맞춘다. GGUF(옛 GGML)는 CPU 중심으로, ctransformers를 쓰고 gpu_layers 값으로 일부를 GPU에 올려 CPU·GPU를 섞을 수 있다. AWQ(활성화 인지 가중치 양자화)는 성능에 덜 중요한 일부 가중치를 양자화에서 건너뛰어 손실을 줄이는 신형 방식으로, vLLM으로 돌리며 의존성 충돌이 있어 아직 일반 파이프라인 통합이 덜 됐다.

주요 인사이트

• 핵심은 "저장 형식"과 "추론 시 표현"이 다를 수 있다는 점이다. 4비트로 저장하되 추론에서 BF16으로 되돌리면 메모리 이득과 품질을 함께 챙길 수 있다.
• 여러 양자화 방식으로 같은 질문을 던져도 출력이 서로 비슷하게 유지된다는 점이, 압축을 해도 성능이 크게 떨어지지 않았음을 보여주는 신호다.
• 선택 기준은 결국 내 GPU 크기다. 모델 전체를 압축 없이 담을 수 있으면 그대로, 안 되면 GPTQ가 첫걸음, 아주 작은 GPU라면 GGUF가 유용하다.
• AWQ는 유망하지만 흔한 라이브러리·도구에 통합되기까지는 시간이 걸릴 수 있어, 실무 도입 시에는 도구 성숙도를 함께 봐야 한다.

자주 묻는 질문

관련 AI 소식