LLM 양자화 완전 정리: FP16·INT4 숫자 형식과 GPTQ·AWQ·GGUF의 차이

핵심 메시지

• 채팅 화면 뒤의 LLM은 결국 파라미터라 불리는 숫자 수십억 개를 담은 거대한 파일이며, 그 숫자들이 전부 메모리에 올라가야 모델이 동작한다.
• 라마 3.1 70B는 파라미터 하나를 2바이트로 저장할 경우 약 140GB가 필요해, 일반 소비자용 GPU 메모리로는 감당할 수 없는 규모다.
• 양자화는 파라미터 개수를 줄이는 것이 아니라 숫자 하나를 더 적은 비트로 저장해 모델 파일 자체를 작게 만드는 기술이다.
• 사람들이 자주 뒤섞는 세 가지 개념 — 숫자 형식(FP16·BF16·FP8·INT8·INT4), 양자화 방법(GPTQ·AWQ), 파일 형식(GGUF) — 은 서로 다른 층위의 질문에 답한다.
• 정밀도를 낮추면 용량은 줄지만 추론·코딩·수학·긴 문맥 처리 품질이 나빠질 수 있고, 속도 향상도 하드웨어와 런타임이 그 형식에 최적화돼 있을 때만 생긴다.

쉽게 이해하기

우리가 챗봇 화면에서 대화하는 모델은 사실 학습이 끝난 뒤 값이 고정된 숫자 뭉치다. 영상은 이 숫자들을 학습 과정에서 하나씩 맞춰놓은 손잡이와 다이얼에 비유한다. 문제는 이 손잡이가 수백억 개라는 점이고, 모델을 실행하려면 그 값이 전부 어딘가에 올라가 있어야 한다는 점이다.

구체적인 숫자를 보면 부담이 분명해진다. 대표적인 공개 가중치 모델인 메타 라마 3.1 70B는 파라미터가 약 700억 개인데, 숫자 하나를 2바이트로 저장하면 700억 × 2, 즉 약 140GB가 된다. 이 모델을 손대지 않고 그대로 돌리려면 140GB 규모의 GPU 메모리가 필요하다는 뜻이고, 이는 일반 소비자용 GPU가 감당할 수 있는 수준을 크게 벗어난다.

양자화는 바로 이 지점을 겨냥한다. 숫자의 개수는 그대로 두되 각 숫자를 더 적은 바이트로 저장해 모델을 더 작고, 더 싸고, 때로는 더 빠르게 만드는 접근이다. 2022년경 대형 트랜스포머 모델을 8비트나 4비트, 심지어 3비트 정밀도로 낮춰도 모델이 완전히 망가지지는 않는다는 연구 결과가 나왔고, 2023년 메타가 라마를 공개하고 llama.cpp 같은 도구가 등장하면서 일반 하드웨어에서 양자화 모델을 돌리는 일이 개발자들의 일상으로 들어왔다.

영상은 사람들이 습관적으로 뭉뚱그리는 세 가지를 분리해 설명한다. 첫째는 숫자 형식이다. FP16, BF16, FP8, INT8, INT4 같은 이름은 '숫자 하나를 몇 비트로 저장하는가'에 답한다. 둘째는 양자화 방법으로, GPTQ나 AWQ 같은 기법이 '어떻게 줄여야 출력이 망가지지 않는가'를 다룬다. 무작정 반올림해 버리면 모델이 무너질 수 있어서, 예컨대 AWQ는 어떤 가중치가 실제로 중요한지 식별해 그 부분을 더 조심스럽게 보존한다. 셋째는 파일 형식이다. 영상이 든 비유대로 동영상이 MP4로 저장되듯 양자화된 모델은 GGUF 같은 형식으로 저장되며, 이 파일에는 가중치와 함께 llama.cpp·Ollama·LM Studio 같은 도구가 모델을 불러와 실행하는 데 필요한 부가 정보가 함께 담긴다.

그렇다면 양자화는 누가 해야 할까. 영상의 답은 모델 제공자, 추론 팀, 실제로 모델을 배포하는 쪽이다. 양자화는 단순히 파일을 줄이는 작업이 아니라 어떤 하드웨어에서 돌릴지, 어떤 런타임을 쓸지, 그리고 무엇보다 줄인 뒤에도 정작 필요한 작업에서 모델이 여전히 제 성능을 내는지까지 알아야 판단할 수 있는 일이기 때문이다.

주요 인사이트

• 메모리 요구량을 계산하는 공식은 의외로 단순하다. 파라미터 수 × 숫자 하나당 바이트 수. 모델 카드에 적힌 파라미터 규모만 알면 필요한 GPU 메모리를 대략 가늠할 수 있고, 어떤 정밀도를 선택할지도 이 계산에서 출발한다.
• 숫자 형식·양자화 방법·파일 형식을 구분하지 못하면 모델을 고를 때 엉뚱한 비교를 하게 된다. INT4와 AWQ와 GGUF는 경쟁 관계가 아니라 각각 '몇 비트로', '어떻게 줄여서', '어떤 파일로 담아서'에 해당하는 별개의 선택지다.
• 양자화의 대가는 용량이 아니라 품질에서 치러진다. 정밀도를 낮출수록 추론, 코딩, 수학, 긴 문맥 처리, 지시 따르기 같은 능력이 조금씩 깎일 위험이 커지므로, 실제로 쓰려는 작업 기준의 검증이 필수다.
• '작아지면 빨라진다'는 자동으로 성립하지 않는다. 4비트 모델은 분명히 작지만, 실행하는 하드웨어와 소프트웨어가 그 형식에 최적화돼 있어야만 속도 이득이 생긴다.
• 결국 던져야 할 질문은 '모델을 줄일 수 있는가'가 아니라 '쓸모를 유지한 채 줄일 수 있는가'다. 이 기준을 세워야 양자화 설정을 두고 벌어지는 선택이 취향 문제가 아니라 검증 문제가 된다.

자주 묻는 질문

관련 AI 소식