로컬 AI 노트북 실험: VRAM 16GB와 24GB가 가르는 실행 가능한 모델의 경계

핵심 메시지

• 프로세서와 시스템 메모리가 같고 그래픽 메모리만 16GB와 24GB로 다른 노트북 두 대를 비교하자, 차이는 속도가 아니라 '어떤 모델을 돌릴 수 있는가'로 나타났다.
• 모델이 그래픽 메모리 안에 다 들어가는 동안에는 두 기기의 생성 속도 차이가 크지 않았고, 읽는 속도의 수십 배에 달해 대화용으로는 차고 넘쳤다.
• 모델이 메모리 한계를 넘어서면 시스템 메모리와 CPU로 넘쳐흐르면서 속도가 급격히 떨어져, 초당 아홉 토큰 수준에서는 사실상 쓰기 어려워진다.
• 모델 용량만이 아니라 대화 기록과 코드까지 포함한 문맥도 같은 메모리를 함께 쓰기 때문에, 코딩 보조로 쓸 때는 여유를 더 크게 잡아야 한다.
• 이미지 한 장 생성에 약 45초, 3초 분량 영상 생성에 3분 30초에서 4분 정도가 걸렸고, 모두 인터넷 연결 없이 기기 안에서 처리됐다.

쉽게 이해하기

실험 구성은 단순합니다. 같은 프로세서와 32GB 시스템 메모리를 갖춘 게이밍 노트북 두 대를 놓고, 그래픽 메모리만 16GB와 24GB로 다르게 했습니다. 두 기기의 차이는 처리 속도가 아니라 그래픽 메모리 용량 하나뿐이며, 진행자는 바로 이 차이가 로컬 AI의 전부라고 말합니다.

작은 모델부터 시작하면 결과는 싱겁습니다. 4비트로 압축한 소형 모델은 용량이 몇 기가바이트에 불과해 두 기기 모두 여유롭게 담아냈고, 생성 속도는 초당 150토큰 안팎으로 거의 같았습니다. 사람이 글을 읽는 속도의 서른 배쯤 되니 대화용으로는 넘칠 정도입니다. 조금 더 큰 12B급 모델로 올려도 초당 60토큰 남짓으로, 두 기기의 차이는 오차 범위에 가까웠습니다.

그래픽 메모리가 남아도 속도가 크게 벌어지지 않은 이유는 분명합니다. 모델이 이미 메모리 안에 다 들어가 있다면 여분의 용량이 속도를 사주지는 않기 때문입니다. 프롬프트가 짧아 계산량 자체가 적었던 것도 차이를 줄였습니다. 실제로 입력을 처리하는 단계는 생성보다 훨씬 빨라 초당 수천 토큰대를 기록했습니다.

판도가 바뀌는 지점은 모델이 메모리 경계를 넘을 때입니다. 코딩용으로 쓰이는 30B급 모델을 4비트로 줄여도 약 18.6GB가 되는데, 이는 16GB 기기가 감당할 수 있는 범위를 벗어납니다. 응답은 나오지만 시스템 메모리와 CPU로 넘쳐흐르면서 눈에 띄게 느려집니다. 24GB 기기에서는 문맥 창을 크게 잡자 사용량이 23.3GB까지 차올라 한계선에 바짝 붙었습니다. 모든 파라미터가 활성화되는 밀집형 27B 모델에서는 16GB 기기가 초당 아홉 토큰까지 떨어져 사실상 쓰기 어려운 수준이 됐습니다.

이미지와 영상 생성도 같은 기기에서 돌아갔습니다. 120억 파라미터급 이미지 모델로 한 장을 만드는 데 약 45초가 걸렸고, 그 이미지를 입력으로 3초 분량 영상을 만드는 데는 3분 30초 정도가 소요됐습니다. 그래픽 메모리가 작은 쪽도 똑같은 결과물을 만들었고 시간만 4분으로 조금 늘었습니다. 무엇보다 생성 횟수 제한이나 외부 전송 없이 전부 기기 안에서 처리된다는 점이 로컬 실행의 실질적인 이점으로 강조됩니다.

주요 인사이트

• 로컬 AI에서 그래픽 메모리는 성능 등급이 아니라 문 열쇠에 가깝습니다. 용량이 크다고 같은 모델이 훨씬 빨라지지는 않지만, 용량이 부족하면 그 모델은 아예 제대로 돌아가지 않습니다.
• 양자화는 만능이 아닙니다. 16비트 가중치를 4비트로 압축하면 용량이 크게 줄지만, 30B급 모델은 압축 후에도 16GB 경계를 넘어섭니다. 압축률만 보고 실행 가능 여부를 판단하면 어긋납니다.
• 모델 구조도 체감 속도를 좌우합니다. 모든 파라미터가 매번 동작하는 밀집형 모델과 일부만 활성화되는 전문가 혼합형 모델은 같은 파라미터 수라도 속도가 크게 다릅니다. 실험에서도 전문가 혼합형 쪽이 뚜렷하게 빨랐습니다.
• 코딩 보조로 쓸 계획이라면 문맥까지 계산에 넣어야 합니다. 대화 기록과 전달하는 코드가 모두 같은 메모리를 쓰기 때문에, 모델 용량만 겨우 맞춘 구성은 실제 작업에서 금세 한계에 부딪힙니다.
• 일상적인 대화나 브레인스토밍처럼 많은 사람이 월 구독료를 내고 쓰는 용도는 이미 16GB급 로컬 환경으로 충분히 감당됩니다. 데이터가 기기를 벗어나지 않는다는 점까지 고려하면 선택지가 늘어난 셈입니다.

자주 묻는 질문

관련 AI 소식