온디바이스 생성형 AI 에이전트 스킬 만들기 — 구글 AI 엣지와 LiteRT LLM API

핵심 메시지

• 온디바이스 AI는 낮은 지연 시간, 개인정보 보호, 오프라인 동작, 데이터센터 비용 절감이라는 이점을 준다.
• 구글 AI 엣지는 모델 변환(LiteRT Torch)·양자화·실행(LiteRT)·벤치마킹(AI Edge Portal)을 아우르는 엔드투엔드 파이프라인이다.
• LiteRT LLM API는 KV 캐싱·컨텍스트 창 관리·텍스트 생성 루프를 대신 처리해 개발자가 경험 구축에만 집중하게 한다.
• 에이전트 스킬은 소형 모델에 반복 지시 저장, 새 기능의 동적 발견, 도메인 지식 접근을 더해 준다.
• 스킬은 메타데이터·이름·설명·지침이 담긴 skill.md와 실행 코드, 참고 자료로 구성된 디렉터리다.

쉽게 이해하기

구글 AI 엣지 팀은 I/O Connect 워크숍에서 클라우드가 아닌 기기 자체에서 생성형 AI를 실행하고, 여기에 '에이전트 스킬'을 붙이는 방법을 시연했다. 발표자들은 안드로이드·iOS·웹·데스크톱은 물론 IoT 기기까지 아우르는 온디바이스 실행 스택을 소개했다.

기기에서 모델을 돌리면 네트워크 왕복이 없어 지연 시간이 크게 줄고, 민감한 데이터가 기기를 벗어나지 않아 개인정보 보호에 유리하며, 비행기 안처럼 네트워크가 없는 곳에서도 앱이 동일하게 동작한다. 연산이 기기로 옮겨가면서 데이터센터 비용이 줄어드는 것도 개발자에게는 큰 이점이다.

구글 AI 엣지는 단일 도구가 아니라 파이프라인이다. LiteRT Torch가 원시 모델을 런타임 형식으로 변환하고, AI 엣지 양자화기가 품질 저하 없이 모델 크기를 모바일 메모리에 맞게 줄인다. 실행은 CPU·GPU·NPU에서 도는 LiteRT 엔진이 담당하며, 생성형 AI를 위해서는 KV 캐싱과 컨텍스트 창 관리, 텍스트 생성 루프를 대신 처리하는 LiteRT LLM API가 별도로 제공된다.

에이전트 스킬은 에이전트에게 새로운 기능과 전문성을 부여하는 간단하고 개방적인 형식이다. 엣지에서 도는 소형 모델은 정확한 결과를 위해 특별한 지침이 필요할 때가 있는데, 스킬은 같은 명령을 반복 입력하지 않도록 저장해 두고, 모델이 실시간으로 새 기능을 발견·습득하게 하며, 특정 도메인 지식에 접근하도록 돕는다.

시연에서는 AI Edge Gallery 앱과 기기에서 실행되는 Gemma 2B 모델을 사용해 '작업 계획·타이머' 스킬을 만들었다. LLM은 물리 세계의 시간 개념을 갖지 않기 때문에, 사용자가 여러 활동 일정을 요청하면 모델이 스킬을 불러오고 함수 호출을 거쳐 실제로 동작하는 타이머 UI를 화면에 렌더링한다.

주요 인사이트

• 스킬 구조는 신입 팀원에게 주는 온보딩 가이드에 비유된다. skill.md 루트에 메타데이터·이름·설명·상세 지침을 두고, 그 아래 결정론적 실행 코드와 렌더링용 에셋(HTML 등)을 배치한다.
• 이름과 설명은 모델이 어떤 스킬을 언제 불러올지 판단하는 일종의 식별자·트리거 역할을 한다.
• LiteRT LLM API는 여러 모델 파일과 전·후처리를 하나의 효율적인 에셋으로 컴파일하는 모듈형 오픈소스로, 라즈베리 파이 같은 소형 기기부터 고성능 데스크톱까지 확장된다.
• Kotlin·Swift 네이티브 바인딩과 Flutter 플러그인, 세밀한 제어용 C++ API를 함께 제공해 다양한 개발 방식을 지원한다.
• AI Edge Gallery는 완전한 오픈소스여서, 마음에 드는 기능은 GitHub 소스에서 직접 확인하고 재현해 볼 수 있다.

자주 묻는 질문

관련 AI 소식