젬마 4 온디바이스 실사용기: 폰에서 돌리는 로컬 LLM과 에이전트 연결까지 해 본 결과

핵심 메시지

• 구글이 젬마 4를 상업적 이용이 가능한 라이선스로 공개했고, 함께 나온 초소형 모델 두 개가 이전 세대 27B 모델 수준의 성능을 냈다.
• 요구 VRAM이 낮아져 스마트폰에 설치해 로컬 LLM을 돌리는 일이 실제로 가능해졌다.
• 로컬 모델은 인터넷을 꺼도 동작하고 모든 데이터가 기기 안에만 남기 때문에 프라이버시 측면의 이점이 뚜렷하다.
• LM 스튜디오로 로컬 서버를 띄우면 외부 에이전트 프로그램을 붙여 문서 작성과 코딩까지 시킬 수 있다.
• 다만 긴 코드, 복잡한 지시, 컨텍스트 길이에서 한계가 분명해 간단하고 빠른 작업에 쓰는 것이 현실적이다.

쉽게 이해하기

영상은 그동안 폰에서 AI를 쓰려면 온라인 앱을 거쳐야 했고, 그래서 민감한 이야기를 하려면 시크릿 모드를 켜거나 대화 기록을 지워야 했다는 점에서 출발한다. 이제는 모델을 기기에 내려받아 로컬로 돌릴 수 있어 그럴 필요가 없어졌다는 것이다. 구글이 이번에 공개한 젬마 4는 상업적 이용까지 허용하는 라이선스로 풀렸고, 최근 좋다고 평가받던 Qwen 3.5와 비슷하거나 나은 수준으로 소개된다.

그런데 더 중요한 것은 함께 나온 초소형 모델 두 개라고 짚는다. 작은 크기인데도 이전 세대 27B 모델의 성능을 넘어섰고, 요구 VRAM이 낮아져 폰에 설치해 로컬 LLM을 돌릴 수 있는 수준이 됐기 때문이다. 직접 써 보는 가장 쉬운 방법으로는 안드로이드와 iOS 모두에 있는 구글 AI 엣지 갤러리 앱을 드는데, 원하는 모델을 내려받아 실행할 수 있고 램만 충분하면 된다.

기기 위에서 돌기 때문에 데이터는 폰 안에만 남고 인터넷을 꺼도 잘 동작한다. 비행기나 무인도처럼 연결이 없는 곳에서 쓸 수 있고, 이미지 인식과 음성 인식이 되어 오프라인 번역기로도 쓸 만하다고 본다. 이메일 보내기나 일정 생성, 손전등 켜기 같은 것을 AI가 제어하는 에이전트 기능까지 연결할 수 있다고 소개한다.

폰은 느릴 수밖에 없으니 PC에서도 시험한다. LM 스튜디오로 4B 모델을 내려받았는데, 모델을 고를 때는 질문에 답하도록 조정됐다는 뜻의 IT 또는 인스트럭트 표기가 붙은 것을 쓰라고 안내한다. 한국어를 매우 잘하고 최신 GPU에서는 응답도 생각보다 빨랐다는 평가다. 질문 답변만 할 거면 굳이 로컬을 쓸 이유가 없으니 에이전트로 붙여 보는데, LM 스튜디오에서 서버를 켜고 주소와 모델명을 확인한 뒤 컨텍스트 길이를 늘리고 에이전트 프로그램이 그 서버를 바라보게 하는 방식이다.

오픈코드의 경우 작업 폴더에 .opencode 폴더와 opencode.json 파일을 만들어 설정을 적으면 바로 쓸 수 있고, 기능을 더 붙이려면 MCP를 쓰면 된다. 퀵소트 구현 정도는 잘 해 주고, 클로드 코드에 붙여 해커 뉴스의 인기 기사를 요약하라고 시키자 스스로 웹 페치 도구를 써서 링크에 들어가 기사를 가져와 요약했다고 전한다. 다만 단점도 명확해서, 코드가 길고 복잡해지면 성능이 떨어지고 디자인은 잘 못하며 복잡한 명령을 알아듣지 못해 아주 상세히 설명해야 하고, 기본적으로 영어로 답하는 경향이 있어 시스템 프롬프트를 손봐야 했다. 그래도 폰에서 에이전트에게 일을 맡길 때 로컬 모델로 안전하게 돌리는 선택지가 생겼고 간단한 작업에는 비싼 모델을 쓸 필요가 없다는 점을 짚으며 마무리한다.

주요 인사이트

• 온디바이스 AI의 진짜 변화는 성능 순위가 아니라 요구 VRAM이 내려간 데 있다. 같은 성능을 더 작은 메모리로 내면 실행 가능한 기기의 종류 자체가 바뀐다.
• 프라이버시가 설정이 아니라 구조로 보장된다. 대화 기록을 지우는 습관 대신 데이터가 기기를 떠나지 않는다는 사실이 보호막이 된다.
• 로컬 모델의 가치는 채팅이 아니라 에이전트 연결에서 나온다. 서버를 띄워 표준 방식으로 붙이면 기존 에이전트 도구를 그대로 쓸 수 있다.
• 작은 모델을 쓸 때는 프롬프트 작성 부담이 커진다. 복잡한 지시를 알아듣지 못하므로 사람이 더 잘게 쪼개 설명해야 한다는 비용이 따라온다.
• 비용 관점에서는 모델을 하나만 쓰는 대신 나눠 쓰는 전략이 현실적이다. 가볍고 빠른 작업은 로컬로, 복잡한 작업은 큰 모델로 보내는 식이다.

자주 묻는 질문

관련 AI 소식