로컬 LLM 코딩 환경 구축 가이드: VRAM 기준 모델 선택부터 LM Studio·VS Code 설정까지

핵심 메시지

• 로컬 모델이 충분히 좋아져서 인터넷 없이도 비용을 내지 않고 자신의 컴퓨터에서 에이전트 코딩을 할 수 있게 됐다.
• 실행 가능한 모델 크기는 하드웨어의 VRAM(맥은 통합 메모리)으로 결정되며, 가용 용량의 10~15%는 비워 둬야 한다.
• 보통 자동 완성용 작은 모델 하나와 채팅·편집·에이전트용 큰 모델 하나, 두 가지를 함께 쓴다.
• 에이전트로 쓰려면 모델이 '도구 사용(tool use)' 기능을 지원해야 파일 생성·수정이 가능하다.
• 양자화(Q4 등)로 모델을 줄이면 VRAM에 올려 빠르게 돌릴 수 있어, 컴퓨터에 맞는 가장 작은 양자화 버전이 대체로 유리하다.

쉽게 이해하기

발표자는 최근 몇 달 사이 로컬 모델의 성능과 실행 편의성이 크게 좋아졌다고 말한다. 적절한 모델과 환경만 갖추면 인터넷 연결이나 구독 없이도 자신의 컴퓨터에서 완전한 에이전트 코딩이 가능하며, 컴퓨팅 비용도 들지 않는다는 점이 핵심이다. 다만 단순히 모델을 받아 두는 것과, 코딩 환경 안에서 파일을 쓰고 bash 명령을 실행하도록 만드는 것은 별개의 문제라고 짚는다.

모델 선택은 VRAM(비디오 메모리)이 좌우한다. 윈도우는 그래픽 카드의 VRAM을, M 시리즈 맥은 CPU·GPU가 공유하는 통합 메모리를 기준으로 본다. 통합 메모리는 운영체제 등이 일부를 쓰므로 전부 모델에 쓸 수는 없고, 발표자는 64GB 중 실제로는 55GB 정도가 가용하다는 식으로 설명하며 10~15%를 빼고 계산하라고 권한다. 같은 메모리라도 전용 GPU는 대역폭이 훨씬 빨라 초당 토큰 수가 높다는 점도 비교한다.

대략적인 기준으로 8GB VRAM은 70억(7B) 파라미터, 12~16GB는 140억(14B), 24GB는 320억(32B), 64GB 이상은 700억(70B)급 모델을 노릴 수 있다고 정리한다. 같은 파라미터 수라도 양자화(Q4, Q3, Q2 등) 단계에 따라 크기가 달라지며, 컴퓨터에서 돌릴 수 있는 가장 낮은 양자화 버전을 쓰는 것이 속도 면에서 대체로 유리하다고 조언한다.

추천 모델로는 자동 완성용으로 가벼운 Qwen 2.5 Coder(약 15억 파라미터), 채팅·편집·에이전트용으로 Qwen 3 계열을 든다. 발표자 본인은 64GB M5 Max에서 Qwen 3.6(35B)과 Qwen 3 Coder Next를 테스트했고, 속도 때문에 평소엔 Qwen 3.6을 선호한다고 밝힌다. 대부분의 사용자는 14B급 모델이 현실적인 선택이라고 본다. 메인 모델은 반드시 도구 사용 기능이 있어야 실제 파일 작업이 가능하다.

설정은 LM Studio와 VS Code로 한다. LM Studio에서 모델을 받아 GPU 오프로드를 최대로 올리고 컨텍스트 길이를 메모리에 맞춰 조정한 뒤, 개발자 탭에서 로컬 서버를 켠다. VS Code 최신 버전은 명령 팔레트의 '언어 모델 관리'에서 사용자 지정 엔드포인트로 LM Studio URL과 모델 ID를 등록하면 로그인 없이 로컬 모델로 채팅·편집·에이전트 작업을 할 수 있다. 자동 완성은 'Continue' 확장 프로그램으로 별도 설정한다.

주요 인사이트

• 로컬 코딩의 진짜 장점은 무료·오프라인·무제한 실행이다. 비행기 안이나 크레딧이 부족할 때, 간단한 인라인 편집·함수 생성에 특히 유용하다.
• 모델은 클수록 무조건 좋은 것이 아니다. VRAM을 넘기면 일부가 시스템 메모리·디스크로 밀려나 최대 100배까지 느려질 수 있다.
• MoE 모델의 'A3B' 같은 표기는 활성 파라미터 수를 뜻하며, 전체 크기가 커도 낮은 사양에서 더 나은 성능을 낼 수 있다.
• 에이전트로 쓸 모델은 도구 사용 지원이 필수다. 도구 호출이 안 되면 코드를 설명만 할 뿐 실제로 파일을 만들거나 고치지 못한다.
• 로컬 모델은 아직 Opus급 클라우드 모델만큼은 아니다. 간단한 작업엔 충분하지만 복잡한 작업은 클라우드와 병행하는 것이 현실적이다.

자주 묻는 질문

관련 AI 소식