온디바이스 초소형 LLM 배포 전략: 구글 엣지 AI팀의 로봇·모바일 양자화·파인튜닝

핵심 메시지

• 모든 기기에 지능을 넣으려면 클라우드가 아니라 기기에서 직접 도는 소형·초소형 언어모델이 필요하다.
• 온디바이스 배포의 최대 제약은 이제 연산이 아니라 DRAM(메모리) 비용이며, 양자화로 모델을 최대한 줄이는 것이 핵심이다.
• 10억~40억 파라미터급 '소형 모델'은 제로샷 프롬프트만으로 추론·함수호출을 꽤 해내지만, 더 넓은 기기에 닿으려면 5억 파라미터 안팎의 '초소형 모델'이 필요하다.
• 초소형 모델은 합성 데이터로 특정 작업에 파인튜닝하면 훨씬 큰 모델과 맞먹는 품질을 더 빠르게, 더 많은 기기에서 낸다.
• 음성→함수호출, 온디바이스 받아쓰기처럼 실제 제품이 이미 초소형 모델로 구현되고 있다.

쉽게 이해하기

이 영상은 구글 AI 엣지팀의 테크리드가 개발자 컨퍼런스에서 진행한 발표를 담고 있다. 값비싼 로봇뿐 아니라 수많은 기기에 지능을 넣으려면 작은 모델이 필수라는 문제의식에서 출발한다. 기기에서 직접 추론하면 지연이 짧고 일정하며, 데이터가 기기를 벗어나지 않아 프라이버시에 유리하고, 오프라인에서도 작동한다. 대규모 사용자 상호작용에서는 클라우드 호출 비용이 빠르게 누적되므로 비용 절감 효과도 크다.

발표자는 온디바이스 배포의 가장 큰 걸림돌로 연산이 아니라 DRAM(메모리) 비용을 꼽는다. 일부 제조사가 올해 기기의 메모리를 오히려 줄였고 라즈베리파이의 메모리 값도 올랐다는 점을 예로 든다. 그래서 2·4·8비트를 섞은 양자화와 레이어별 임베딩 같은 기법으로 가중치를 가중치당 약 2.9비트까지 압축한다. 그 결과 20억 파라미터급 텍스트 모델의 가중치를 약 841MB로 줄였고, 런타임과 KV 캐시까지 더하면 대략 2GB 안팎의 활성 메모리로 구동된다.

소형 모델은 대략 10억~40억 파라미터 규모로, 고급 스마트폰이나 노트북처럼 4~8GB 메모리를 갖춘 기기에서 돌아간다. 이 급은 별도 학습 없이 제로샷 프롬프트만으로도 상당한 추론 성능을 내고, LoRA 어댑터나 함수호출에도 어느 정도 견고하다. 속도 면에서는 같은 20억 모델이 라즈베리파이에서 초당 한 자릿수 토큰을 디코딩하지만, 젯슨이나 퀄컴 NPU 같은 더 강한 기기에서는 훨씬 빨라져 거의 실시간에 가까운 응답이 가능해진다.

더 넓은 기기에 닿으려면 5천만~5억 파라미터 수준의 '초소형 모델'이 필요하다. 음성 인식(ASR)·비전·임베딩처럼 정해진 작업은 이미 완성도 높은 초소형 모델이 있어 그대로 쓸 수 있다. 맞는 기성 모델이 없으면 합성 데이터를 대략 1만~1천만 샘플 규모로 만들어 파인튜닝하는데, 이렇게 하면 훨씬 큰 모델과 같거나 더 나은 품질을 더 작은 크기로 얻을 수 있다. 예로 함수호출용으로 추가 학습된 소형 모델을 파인튜닝한 '모바일 액션' 모델은 자유 텍스트를 10여 개 기기 기능 호출로 86% 넘는 신뢰도로 바꿔낸다.

이런 접근은 이미 제품으로 나오고 있다. 발표에서는 구독 없이 기기에서만 도는 음성 받아쓰기 앱을 소개하는데, 받아쓰기와 '음·어' 정리, 개인화된 단어 보정까지 파인튜닝된 초소형 젬마 모델 두 개로 처리한다. 크롬의 요약·교정 API도 초소형 모델로 제공해 더 많은 사용자에게 기능을 배포한다. 정리하면, 소형 모델은 제로샷으로 쉽게 쓰고 NPU에서 매우 빠르며, 초소형 모델은 합성 데이터 파인튜닝을 통해 훨씬 많은 기기로 지능을 확장하는 열쇠라는 것이다.

주요 인사이트

• 연구 자원 대부분이 대형 모델에 쏠려 LLM 스펙트럼의 저사양 영역은 상대적으로 덜 연구돼 있고, 바로 여기에 실용적 기회가 있다.
• 메모리 예산이 배포 가능한 모델 크기를 사실상 결정하기 때문에, '주어진 작업을 해내는 가장 작은 모델'을 찾는 것이 설계 목표가 된다.
• NPU에서 초소형 모델은 초당 수천 토큰의 프리필이 가능해, 고해상도 이미지 몇 프레임을 초당 처리하는 거의 실시간 멀티모달 응용이 열린다.
• 합성 데이터 파인튜닝 파이프라인이 확립되면 구독형 클라우드 기능을 완전 오프라인·무료 기능으로 대체할 수 있다.
• 음성→함수호출은 설정 메뉴가 복잡한 소형 기기에서 특히 유용하며, 초소형 모델로도 충분히 견고하게 구현되고 있다.

자주 묻는 질문

관련 AI 소식