Ollama로 구글 Gemma 로컬 실행, 무료 AI 코딩 어시스턴트 만들기

핵심 메시지

• 클로드 코드나 코덱스 같은 유료 도구는 비용이 빠르게 늘지만, 구글의 오픈소스 모델 Gemma는 무료로 거의 비슷한 작업을 해낸다.
• Ollama를 설치하면 인터넷 연결 없이 로컬 머신에서 모델을 돌릴 수 있어 오프라인 작업이 가능하다.
• 모델은 파라미터 크기별로 여러 버전이 있으며, 내 컴퓨터 사양에 맞는 크기를 골라야 한다.
• VS Code 확장(Gemma Assistant)으로 연결하면 클로드·코덱스를 쓰던 것과 같은 환경에서 코딩 어시스턴트로 활용할 수 있다.

쉽게 이해하기

웹 디자이너를 위한 무료 도구를 소개하는 “Friday Freebies” 코너에서, 진행자는 유료 AI 코딩 도구의 비용 문제를 지적하며 출발한다. 클로드 코드나 코덱스는 무료 체험 구간이 있어도 금세 소진되는데, 이에 대한 대안으로 구글의 오픈소스 모델 “Gemma”를 제시한다. 무료인 데다 출처가 분명한 모델이라는 점을 강조한다.

핵심 도구는 무료 프로그램 Ollama다. ollama.com에서 macOS·리눅스·윈도우용 설치 파일을 받아 실행한 뒤, 앱에서 새 채팅을 열고 모델을 고르면 된다. 검색창에 “Gemma”를 입력하면 31B, 26B, E4B, E2B 등 파라미터 크기별 버전이 나오는데, 진행자는 균형이 좋은 26B를 예시로 선택한다.

모델 선택의 핵심은 내 하드웨어 사양이다. 파라미터가 많을수록 더 많은 저장 공간·RAM·비디오 메모리가 필요하므로, 맥북 에어처럼 사양이 낮으면 작은 모델을 써야 한다. 진행자는 자신의 PC 사양(예: 64GB RAM)을 ChatGPT나 클로드에 입력해 적합한 버전을 추천받는 방법도 제안한다. 26B 모델은 약 17GB 용량으로, 메시지를 입력하면 다운로드가 시작된다.

로컬에 설치된 모델은 인터넷 없이도 작동한다. 진행자는 워드프레스 설명을 요청해 .org와 .com의 차이를 정리해 주는 모습을 보여 주고, HTML·CSS·자바스크립트에도 능숙한지 직접 물어 확인한다. 웹 기초 기술은 오랜 기간 큰 변화가 없어, 최신 온라인 모델만큼 최신 정보가 아니어도 대부분의 작업에는 충분하다고 설명한다.

단순 채팅을 넘어 실제 워크플로에 붙이려면 VS Code 확장을 쓰면 된다. “Gemma Assistant” 확장을 검색해 설치하면 Ollama에 올린 Gemma 모델을 VS Code 안에서 호출할 수 있어, 클로드 AI나 코덱스를 쓰던 환경과 동일하게 작업할 수 있다. 진행자는 Greenlight로 시각적 편집까지 연결하는 확장 활용법도 예고한다.

주요 인사이트

• 오픈소스 + 로컬 실행의 가장 큰 장점은 비용 0원과 오프라인 동작이며, 민감한 작업을 자체 머신 안에 가둘 수 있다는 점이다.
• 모델 크기(파라미터)와 하드웨어 사양의 균형이 관건으로, 무조건 큰 모델이 아니라 내 PC가 감당할 수 있는 버전을 골라야 한다.
• 웹 표준(HTML·CSS·JS)처럼 변화가 느린 영역에서는 최신성이 떨어지는 로컬 모델도 실무에 충분하다.
• Ollama + VS Code 확장 조합으로, 유료 도구와 동일한 개발 환경을 무료로 재현할 수 있다.

자주 묻는 질문

관련 AI 소식