클로드 코드를 로컬 오픈소스 모델로 무료로 쓰기: Ollama 연동 방법과 GPU·속도 한계

핵심 메시지

• 클로드 코드는 소네트·오퍼스 같은 유료 클로드 모델 대신, 로컬에서 돌리는 오픈소스 모델과 연결해 무료로 사용할 수 있다.
• 단, 내 컴퓨터가 해당 로컬 모델을 구동할 수 있어야 하며, 특히 GPU 메모리가 성능을 좌우한다.
• Ollama가 로컬 모델을 돌리는 대표 도구이며, 젬마·큐원·라마 등 다양한 모델을 내려받아 쓸 수 있다.
• 모든 모델이 클로드 코드와 잘 맞는 것은 아니어서, 클로드 코드용으로 파인튜닝된 모델을 고르는 편이 낫다.
• 로컬 구동의 장점은 비용이 들지 않는다는 점이지만, 속도가 느리고 큰 프로젝트에서는 버거워하는 한계가 있다.

쉽게 이해하기

클로드 코드는 기본적으로 소네트나 오퍼스 같은 클로드 모델을 사용하는데, 이 모델들은 유료다. 발표자는 만약 로컬 모델을 돌릴 수 있는 컴퓨터가 있다면, 오픈소스 모델을 로컬에서 실행해 클로드 코드에 연결함으로써 클로드 서비스 비용을 내지 않고 사용할 수 있다고 설명한다. 다만 속도가 느려지는 점은 감수해야 한다.

로컬 모델을 돌리는 가장 좋은 선택지로 Ollama를 소개한다. ollama.com에서 젬마, 라마, 여러 제미나이 계열 등 다양한 모델을 내려받을 수 있다. 다만 시스템 사양을 확인해야 한다. 발표자는 노트북용 RTX 4080(12GB 전용 GPU)을 사용하는데, 모델 크기에 따라 GPU 메모리가 충분해야 하며, 사양이 낮으면 더 작은 버전을 찾아야 한다. 일부 모델은 CPU에서도 동작하고, 맥이라면 크기에 맞는 MLX 버전을 쓸 수 있다.

모든 모델이 클로드 코드와 맞물려 잘 작동하지는 않는다. 발표자는 특정 모델에서 문제를 겪었고, 클로드 코드용으로 파인튜닝된 모델을 쓰면 잘 동작했다고 말한다. 큐원 계열은 Ollama가 직접 추천하기도 한다. 사용 절차는 먼저 Ollama를 설치하고(터미널에서 ollama version으로 확인), 원하는 모델을 내려받은 뒤(ollama list로 확인), 프로젝트 폴더에서 ollama launch claude 명령으로 클로드 코드를 로컬 모델과 함께 실행하는 흐름이다.

실제 시연에서는 VS 코드 프로젝트 폴더를 열고 로컬 모델을 선택해 실행했다. "프로젝트를 설명하라"는 요청을 무난히 처리했고, 작업 관리자로 확인하니 GPU 사용량이 올라가면서도 초당 토큰 속도는 로컬 모델치고 나쁘지 않았다. 이어 계산기용 JS 파일을 만들라고 하자 처음에는 아무 출력 없이 실패하기도 했지만, 다시 시도하니 코드가 담긴 자바스크립트 파일 전체를 생성했다.

발표자는 큰 프로젝트에서는 로컬 모델이 버거워할 수 있다며, 컨텍스트와 스펙을 관리하고 새 세션을 만들거나 현재 세션을 비우는 방식, 또는 한 번에 특정 메서드나 함수만 다루는 방식으로 우회할 수 있다고 조언한다. 결국 유료 클로드 모델을 쓸지 로컬 모델을 쓸지는 선택이지만, 로컬은 비용이 들지 않는 대신 느리다는 절충이 있다.

주요 인사이트

• 로컬 모델 연동의 핵심 이점은 비용 절감이다. 클로드 서비스 요금을 내지 않고도 클로드 코드의 워크플로를 그대로 활용할 수 있다.
• GPU 메모리가 병목이다. 발표자의 12GB GPU 기준으로도 9.6GB급 모델은 버거워, 4B·12B처럼 더 작은 모델이나 맥용 MLX 버전을 골라야 했다.
• 범용 모델보다 클로드 코드용으로 파인튜닝된 모델이 실제 연동에서 더 안정적으로 작동했다.
• 로컬 모델은 첫 시도에서 빈 결과로 실패하는 등 불안정할 수 있어, 재시도와 컨텍스트·세션 관리가 실사용의 관건이 된다.

자주 묻는 질문

관련 AI 소식