LLM 모델 압축·양자화란 — 추론 비용을 줄이고 속도를 높이는 법

핵심 메시지

• AI 비용의 대부분은 학습이 아니라 모델을 실제로 운영하는 추론(inference) 단계에서 발생한다.
• 압축·최적화의 핵심 효과는 지연(latency) 감소, 처리량(throughput) 증가, 그리고 하드웨어 비용 절감 세 가지다.
• 양자화는 파라미터의 정밀도를 FP16에서 INT8·INT4로 낮춰 GPU 메모리 요구량을 크게 줄이는 기법이다.
• Red Hat의 50만 건 평가 결과, 양자화 모델은 원본 대비 정확도 저하가 1% 미만이며 때로는 성능이 개선되기도 한다.
• 실시간 챗봇·RAG·에이전트는 저지연 방식을, 대량 오프라인 처리는 처리량 중심 방식을 택하는 등 사용 사례에 따라 양자화 전략이 달라진다.

쉽게 이해하기

AI를 이야기할 때 보통 학습에 필요한 수조 개 토큰의 데이터나 GPU·TPU 같은 막대한 하드웨어 자원을 떠올린다. 그러나 실제 비용의 대부분은 학습이 끝난 뒤, 완성된 모델을 운영하는 추론 단계에서 발생한다. 챗봇, 고객 지원 어시스턴트, 문서 기반 RAG, 코딩 에이전트 등 거의 모든 AI 애플리케이션이 내부적으로 추론으로 구동되기 때문이다.

그래서 모델을 효율적으로 배포하고 운영하는 압축·최적화 기법이 중요해진다. 이 기법들은 세 가지 효과를 노린다. 첫째, 프롬프트를 보낸 뒤 응답까지의 지연과 첫 토큰까지의 시간을 줄인다. 둘째, 초당 토큰 수(TPS)를 높여 수백 명의 사용자가 동시에 빠른 응답을 받게 한다. 셋째, 필요한 GPU 수를 줄여 하드웨어 비용을 절감한다.

문제는 모델이 점점 커진다는 점이다. 예컨대 4000억 파라미터인 Llama 4 Maverick을 원본 FP16(파라미터당 2바이트)으로 돌리면 약 800GB가 필요해, 80GB GPU(A100급) 다섯 장을 멀티노드로 묶어야 한다. 이는 매우 비싸다. 양자화는 이 정밀도를 낮춰 모델을 작게 줄이는 작업이다.

구체적으로 1090억 파라미터의 Llama 4 Scout를 보면, 원본 BFLOAT16에서는 약 220GB(80GB 카드 3장)가 필요하다. 이를 INT8로 양자화하면 파라미터당 1바이트가 되어 약 109GB(카드 2장), 흔히 쓰이는 INT4로 한 단계 더 내리면 약 55GB가 되어 GPU 한 장으로도 KV 캐시까지 감당할 수 있다. SparseGPT나 GPTQ 같은 알고리즘이 '스마트 스케일링'으로 모델의 동작을 보존하면서 크기만 줄인다.

양자화를 도입할 때는 두 가지를 따져야 한다. 챗봇·RAG·에이전트처럼 사용자가 실시간 응답을 기다리는 온라인 작업은 지연 최소화가 핵심이라 가중치 위주(W8A16) 방식이 유리하다. 반면 수천 건의 고객 대화를 한꺼번에 분석하는 오프라인 작업은 GPU가 늘 가득 차므로 FP8·INT8처럼 연산 속도를 끌어올리는 형식이 적합하다. Hugging Face의 사전 최적화 모델이나 vLLM 계열 오픈소스 LLM Compressor를 쓰면 이 과정을 손쉽게 적용할 수 있다.

주요 인사이트

• 'AI는 학습이 비싸다'는 통념과 달리, 운영 단계인 추론이 실제 지출의 중심이라는 점이 비용 전략의 출발점이다.
• 양자화는 단순한 용량 절감을 넘어 처리량을 최대 5배까지 끌어올려 사용자 만족도와 직결된다.
• 정밀도를 FP16 → INT8 → INT4로 낮출 때마다 메모리가 절반씩 줄어, GPU 3장이 필요하던 모델을 1장으로 운영할 수 있다.
• 50만 건 평가에서 정확도 저하가 1% 미만이라는 사실은, 압축이 '품질을 깎는 타협'이 아니라 실용적 표준임을 보여준다.
• 온라인 대 오프라인이라는 작업 성격에 따라 양자화 방식을 다르게 골라야 하며, 이는 LLM뿐 아니라 비전 모델 등에도 적용된다.

자주 묻는 질문

관련 AI 소식