로컬 AI 백업 전략 - 클라우드 모델 차단에도 견디는 AI 시스템 만들기

핵심 메시지

• 특정 클라우드 AI 모델 하나에만 의존하면 그 모델이 중단·차단될 때 서비스 전체가 멈춘다.
• 같은 기능을 클라우드 모델과 로컬 모델 두 경로로 구현해 두면, 한쪽이 막혀도 다른 쪽으로 대체할 수 있다.
• Mistral처럼 클라우드 API와 오픈소스 가중치를 모두 제공하는 모델은 두 경로의 동작 차이가 거의 없어 이중화에 유리하다.
• OCR 같은 일부 기능은 로컬 대체 모델(DocTR)이 클라우드(Mistral OCR)보다 성능이 떨어질 수 있어, 그 차이를 솔직히 문서화해야 한다.

쉽게 이해하기

영상은 정부 규제나 정책 변화로 특정 AI 모델이 갑자기 차단되거나 중단되는 상황을 가정한다. 발표자는 문서를 읽고 질문에 답하는 RAG 예제(Pro Git 핸드북 일부 20쪽을 색인)를 만들고, 같은 애플리케이션을 클라우드 경로와 로컬 경로 두 가지로 구현해 보여준다.

클라우드 경로는 Mistral의 OCR 모델로 문서를 블록 단위로 색인하고, Mistral 언어 모델로 질문에 답하면서 책의 구체적인 페이지·블록을 출처로 제시한다. 예제에서는 20쪽이 171개 블록으로 색인되고, '브랜치를 만들고 전환하는 법' 질문에 3개 출처(8쪽, 3쪽 등)를 근거로 답한다.

로컬 경로는 'sovereign mode'를 local로 바꿔 같은 코드를 실행한다. OCR은 오픈소스 DocTR로, 언어 모델은 LM Studio에서 돌아가는 로컬 Mistral 모델로 대체된다. DocTR은 한 페이지를 통째로 한 블록으로 잡는 등 클라우드 OCR보다 덜 세밀하지만, 모델이 사라졌을 때의 대체 수단으로는 충분히 작동한다.

전체 구조는 문서를 색인하는 ingest 단계(OCR → 블록 생성 → 청크 분할 → fast embed로 로컬 임베딩 → 벡터 DB 저장)와, 질문에 답하는 ask 단계(질문 임베딩 → 벡터 DB에서 상위 블록 검색 → 출처와 함께 LLM에 전달)로 나뉜다. 각 단계에서 클라우드와 로컬을 선택할 수 있게 설계한다.

발표자는 회복력 있는 AI를 위한 두 가지 팁을 강조한다. 첫째, 클라우드 모델을 쓰더라도 같은 모델을 여러 제공자(예: Anthropic API뿐 아니라 Google Vertex, OpenRouter)로 라우팅해 한 경로가 막혀도 서비스가 유지되게 한다. 둘째, 어려운 작업의 상당수를 작은 로컬 오픈소스 모델로 대체할 수 있는지 검토해 차단 상황의 대비책으로 삼는다.

주요 인사이트

• 이중화의 핵심은 '같은 모델을 여러 제공자로 라우팅'하는 것과 '클라우드 기능을 로컬 모델로 대체할 수 있게 설계'하는 것 두 축이다.
• Mistral이 언어 모델을 오픈소스로 공개했기 때문에 클라우드와 로컬에서 기능적으로 동일한 모델을 쓸 수 있고, 속도 차이는 있어도 출력 동작에는 차이가 없다.
• OCR처럼 로컬 대체재(DocTR)와 클라우드(Mistral OCR) 사이에 실제 기능 차이가 있는 경우, 성능 차이를 측정·문서화하면 사용자도 그 한계를 수용할 수 있다.
• 발표자는 '로컬 모델이 최신 모델만큼 좋다'는 주장에 선을 긋는다. 대부분의 용도에서 로컬 모델은 대체재일 뿐 동급은 아니라는 현실을 인정해야 한다.

자주 묻는 질문

관련 AI 소식