AI 양자화 완전정리 — Q2·Q4·Q8과 컨텍스트 양자화로 노트북에서 대형 모델 돌리기

핵심 메시지

• 양자화는 모델 가중치의 저장 정밀도를 낮춰, 큰 모델을 일반 하드웨어에서도 돌릴 수 있게 하는 기술이다.
• 32비트로 저장하면 70억 파라미터 모델도 28GB가 필요하지만, Q8·Q4·Q2로 낮추면 메모리를 크게 절약한다.
• Q2·Q4·Q8은 숫자를 담는 '자'의 눈금 정밀도이며, K-양자화(KS·KM·KL)는 값 크기에 따라 정밀도를 다르게 배분한다.
• Ollama의 컨텍스트(KV 캐시) 양자화와 플래시 어텐션으로 긴 대화 기록이 먹는 메모리도 줄일 수 있다.
• 대개 Q4(또는 Q4_K_M)로 시작해 품질에 따라 Q8로 올리거나 Q2로 더 낮추는 전략이 실용적이다.

쉽게 이해하기

영상은 작은 노트북이 700억 파라미터 모델을 돌리는 장면으로 시작한다. 이를 가능케 하는 것이 양자화이며, Ollama에서 보이는 Q2·Q4·Q8 태그의 의미가 핵심 주제다.

메모리 계산이 문제의 출발점이다. 모델은 수십억 개의 숫자 덩어리이고, 32비트 정밀도로 저장하면 70억 파라미터에 4바이트씩 곱해 28GB가 필요하다. 이는 웬만한 게이밍 PC보다 많은 RAM이며 수천 달러짜리 GPU를 요구한다. 양자화는 이 정밀도라는 '눈금'을 낮춰 공간을 절약한다.

발표자는 정밀도를 자의 눈금에 비유한다. Q8은 센티미터, Q4는 5cm 간격, Q2는 대충 집어 든 막대기 수준이다. 우편함 비유도 등장하는데, 원래는 숫자마다 맞춤 우편함을 두어 공간을 많이 쓰지만 Q4는 16칸에 근접값을 배정한다. K-양자화(KS·KM·KL)는 작은 값과 큰 값에 각각 알맞은 크기를 배정하는 더 똑똑한 방식이다.

모델 가중치뿐 아니라 대화 기록도 메모리를 잡아먹는다. 과거엔 2천~8천 토큰이었지만 이제는 12만 8천 토큰까지 기억한다. 플래시 어텐션(OLLAMA_FLASH_ATTENTION=true)과 KV 캐시 타입 설정으로 이를 줄일 수 있는데, Qwen2.5 7B에 32k 컨텍스트를 준 실측에서 기본 15GB가 플래시 어텐션으로 약 7GB 줄고 KV 캐시를 Q8로 두자 컨텍스트가 쓰던 메모리가 약 10GB 절감됐다.

모델 선택은 대개 Q4 또는 Q4_K_M으로 시작하는 것이 좋다. 생성 품질에 문제가 있으면 Q8이나 fp16으로 올리고, 괜찮으면 Q2까지 낮춰 본다. 플래시 어텐션을 켜고 자기 용도로 테스트하는 것이 핵심이며, 최적의 설정은 '가장 높은 설정'이 아니라 '내 용도에 맞는 설정'이라는 점을 강조한다.

주요 인사이트

• 정밀도를 낮추면 품질이 다소 떨어질 수 있지만, 많은 작업에서 Q2조차 충분히 쓸 만해 메모리 대비 실효가 크다.
• K-양자화는 값의 크기 분포에 맞춰 정밀도를 차등 배분해, 단일 고정 방식보다 같은 용량에서 품질을 더 잘 지킨다.
• 모델 가중치뿐 아니라 KV 캐시(대화 컨텍스트)도 양자화 대상이며, 긴 컨텍스트일수록 절감 효과가 크다.
• 다만 플래시 어텐션과 컨텍스트 양자화의 이득은 모델마다 달라, 오히려 메모리가 늘어나는 경우도 있어 실측이 필요하다.

자주 묻는 질문

관련 AI 소식