로컬 AI 코딩 솔직 분석: RTX 4090으로 로컬 모델 vs 클라우드 비교

핵심 메시지

• 로컬 코딩 모델의 실질 제약은 VRAM이다. RTX 4090의 24GB 기준 약 300억 파라미터급까지만 쓸 만하고, 모델이 메모리에 다 안 올라가면 속도가 폭락한다.
• 고사양 하드웨어는 비싸다(수천 달러). 대부분은 저렴한 PC를 사고 그 돈으로 클라우드 구독을 쓰는 편이 낫다.
• MoE(전문가 혼합) 모델인 Qwen3 Coder 30B가 초당 80~90토큰으로 가장 빨랐고, 같은 크기라도 밀집(dense) 모델은 30토큰 수준으로 느렸다.
• 가장 큰 걸림돌은 호환성이다. 커서 같은 선호 도구가 로컬 모델을 제대로 지원하지 않아 기능이 제한되고 오류가 났다.
• 결론: 약 95%는 클라우드 구독이 낫고, 로컬은 프라이버시·오프라인·극단적 비용 절감·24시간 에이전트 작업에서 의미가 있다.

쉽게 이해하기

진행자는 '로컬 AI 코딩이 정말 좋은가'를 마케팅 없이 정직하게 따져본다. 테스트 장비는 VRAM 24GB의 RTX 4090과 64GB RAM, 그리고 통합 메모리 64GB의 맥이다. 윈도우 환경에서 실제로 중요한 것은 VRAM 용량이며, 24GB는 대략 300억 파라미터급 모델까지가 한계라고 설명한다. 핵심 원칙은 '모델 전체가 GPU 메모리에 올라가야 한다'는 것으로, 넘쳐서 일반 RAM으로 흘러가면 초당 70~80토큰이던 속도가 2토큰까지 떨어진다.

그는 비용을 솔직하게 짚는다. 쓸 만한 로컬 모델을 돌리려면 고가 하드웨어가 필요하고, 대부분의 사용자는 6~7천 달러짜리 PC 대신 저렴한 컴퓨터에 연 몇백 달러의 AI 구독을 쓰는 편이 더 낫다는 것이다. 로컬을 택할 이유로는 속도·출력 품질·호환성·비용과 함께, 가장 큰 장점으로 '통제권'과 프라이버시를 든다. 한 번 내려받으면 아무도 조건을 바꿀 수 없다는 점이다.

테스트한 모델은 Mistral의 Devstral small(약 24B), Qwen3 Coder 30B(MoE, 활성 3B), Qwen 3.6 27B(밀집), 구글 Gemma 등이다. 모두 Q4KM 양자화를 썼고, K/V 캐시 양자화와 플래시 어텐션을 켜면 VRAM을 약 3GB 아낄 수 있다고 팁을 준다. MoE 구조의 Qwen3 Coder 30B가 초당 80~90토큰으로 가장 빠르고 즐겨 쓰는 모델이었으며, 파라미터가 더 적어도 밀집 모델인 Qwen 3.6 27B는 약 30토큰으로 2배 이상 느렸다.

실사용의 가장 큰 벽은 호환성이었다. 그가 선호하는 커서(Cursor)는 로컬 모델을 매끄럽게 붙이기 어려워 결국 VS Code로 작업했고, 그마저도 앤트로픽 모델이 받는 도구 호출·기능을 온전히 쓰지 못했다. 로컬 모델로 테트리스·마리오 게임을 만들 때 코드는 빠르게 나왔지만, 브라우저 상호작용 테스트 단계에서 하니스 오류가 나거나 파일을 끝까지 쓰지 않아 게임이 동작하지 않는 문제가 반복됐다.

비교를 위해 클라우드의 Sonnet 5를 API 과금으로 돌리자, 한 번에 두 게임을 오류 없이 만들어 냈고 품질도 더 나았다. 비용은 약 2.42달러로, API 직접 과금이라 가장 비싼 방식임에도 감당 못 할 수준은 아니었다. 최종 평가는 명확하다. 로컬 모델은 고사양 하드웨어가 있을 때 '충분히 쓸 만한' 정도이며, 체감상 클라우드보다 6~8개월 뒤처진 느낌이다. 약 95%는 클라우드 구독을 쓰는 편이 낫고, 로컬은 프라이버시가 절대적이거나 오프라인·극단적 비용 제약·24시간 에이전트 작업일 때 빛을 발한다.

주요 인사이트

• 로컬 LLM의 성능을 가르는 첫 변수는 지능이 아니라 VRAM 용량이다. 모델이 메모리에 다 올라가느냐가 속도를 좌우한다.
• MoE(전문가 혼합) 구조는 활성 파라미터만 계산하므로, 같은 크기의 밀집 모델보다 훨씬 빠르게 돌 수 있다.
• K/V 캐시 양자화와 플래시 어텐션을 켜면 컨텍스트가 차지하는 VRAM을 줄여 더 큰 모델을 온전히 올릴 수 있다.
• 코딩에서 로컬 모델의 진짜 병목은 모델 성능만이 아니라 에이전트 하니스와의 호환성이다. 도구가 로컬 모델을 못 받으면 기능이 반토막 난다.
• 손익을 따지면 대부분은 GPU를 새로 사는 것보다 토큰·구독 비용을 내는 편이 더 싸고, 더 높은 지능과 시간 절약까지 얻는다.

자주 묻는 질문

관련 AI 소식