LLM 양자화 비교 실험 — Ollama에서 Q2·Q4·fp16 성능·속도 차이

핵심 메시지

• 같은 라마 3.1 모델을 2비트(Q2)·4비트(Q4)·16비트(fp16)로 돌려 같은 질문을 던져 비교하는 실험이다.
• 블랙홀 설명 질문에서는 Q2가 약 2초, Q4가 3초, fp16이 10초 걸렸지만, 라벨 없이 글만 보면 어느 것이 저비트 양자화인지 구분하기 어려웠다.
• 모델은 같은 질문에도 매번 다른 답을 내므로, 평가할 때는 같은 질문을 여러 번(영상에서는 각 5회) 물어봐야 한다.
• 추론이 필요한 문제(예: 기차 속도 계산)에서는 fp16·Q4가 Q2보다 안정적이었지만, 일부 논리 문제에서는 오히려 Q2가 더 자주 맞히는 등 결과가 단순하지 않았다.
• 벤치마크는 당신의 질문을 모른다 — 자신이 실제로 던지는 질문으로 직접 시험해, 일관되게 좋은 결과를 주는 가장 작은 파라미터·양자화를 고르는 것이 좋다.

쉽게 이해하기

이 영상은 로컬에서 AI 모델을 돌리는 Ollama 무료 강좌의 한 편으로, 같은 모델의 여러 양자화 버전이 실제로 어떻게 다른지 비교한다. Ollama 커뮤니티에는 '4비트 양자화는 쓸모없다'는 말이 많지만, 발표자는 대부분의 용도에는 오히려 충분하다고 본다.

확인을 위해 그는 다운로드한 모델과 양자화 버전들에 같은 프롬프트를 여러 번 던져보는 간단한 프로그램(깃허브 technovangelist 저장소의 Quant tester)을 만들었다. 라마 3.1 8B를 Q2_K·Q4·fp16으로 받아 실험했으며, 모델은 매번 답이 달라지므로 각 양자화마다 질문을 다섯 번씩 반복한다.

'블랙홀을 한 문단으로 설명하라'는 질문에서 답변 생성 시간은 Q2 약 2초, Q4 3초, fp16 10초였다. 라벨을 붙여 나란히 놓으면 fp16이 더 낫다고 주장할 여지가 있지만, 라벨 없이 글만 보면 어느 것이 2비트인지 아무도 자신 있게 맞히기 어려웠다. 발표자는 세 답이 각기 다른 방식으로 똑같이 타당하며, 질문 하나로 골라야 한다면 늘 가장 빠른 쪽을 택하겠다고 말한다.

논리·추론 문제에서는 양상이 갈렸다. 방 안 살인자 문제 같은 고전 논리 퍼즐은 애초에 모델이 잘 못하는 유형이지만, 8B에서는 fp16이 Q4보다 근소하게, Q4가 Q2보다 크게 나았다. 반면 70B 모델에서는 그 퍼즐을 Q2가 매번 맞힌 반면 Q4는 60%만 맞혔다. '기차가 90분에 60마일을 가면 100마일은 얼마나 걸리나(정답 150분)' 문제에서는 Q2가 5회 중 3회, Q4와 fp16은 매번 정답을 냈다.

함수/도구 호출(tool calling)도 짚는다. 본질은 애플리케이션이 결과를 쓸 수 있도록 모델이 JSON을 출력하는 것이다. 스키마를 특정 형식으로 제공하고 그에 맞춰 파인튜닝된 모델을 써야 하는 '새 방식'은 보통 더 큰 파라미터·큰 양자화를 요구하고도 성공률이 60~90%에 그쳤고, 프롬프트에 직접 스키마를 정의하고 형식을 JSON으로 지정하는 '옛 방식'이 아직은 더 안정적이라고 설명한다.

주요 인사이트

• 속도 차이는 누적된다 — 질문 하나에 10초 대 2초는 작아 보여도 질문이 많아지면 커지므로, 근소하게 나은 답을 위해 몇 배의 시간을 쓰는 것은 대개 비합리적이다.
• 저비트 양자화가 항상 열등한 것은 아니다. 일부 논리 문제에서 Q2가 더 자주 정답을 낸 사례처럼, 양자화-품질 관계는 질문 유형에 따라 달라진다.
• 벤치마크는 당신이 실제로 던질 질문을 알지 못하므로, 자신의 질문으로 직접 시험해 일관되게 좋은 결과를 주는 가장 작은 파라미터·양자화를 고르는 것이 실용적이다.

자주 묻는 질문

관련 AI 소식