AI 비용 절감 모델 라우팅 — 계획은 최고 모델, 코딩은 저렴한 모델로 나누기

핵심 메시지

• 모델 라우팅이란 '작업에 맞는 적절한 모델을 쓰는 것'으로, AI 비용을 크게 줄이는 단순한 방법이다.
• 핵심은 계획(planning)과 실행(execution)을 나누는 것으로, 두 단계에 같은 수준의 모델 성능이 필요하지 않다.
• 계획에는 최고 성능의 프런티어 모델을 쓰고, 실제 코드 작성은 충분히 좋은 저렴한 모델에 맡긴다.
• 출력 토큰이 입력보다 훨씬 비싸고 코딩 단계가 출력을 많이 쓰기 때문에, 코딩을 싼 모델로 옮기면 절감 효과가 크다.
• 커서 같은 서드파티 하니스는 자동 라우팅을 제공하며, 모델 종류와 사고(thinking) 수준을 상황에 맞게 고르는 습관이 중요하다.

쉽게 이해하기

발표자는 AI 비용이 지나치게 비싸다고 지적하며, 요금을 크게 줄이는 단순한 방법으로 '모델 라우팅'을 제시한다. 모델 라우팅은 작업마다 그에 맞는 모델을 쓰는 것을 뜻한다. 이때 반드시 이해해야 할 개념이 계획과 실행의 구분이다. 계획은 무엇을 어떻게 만들지, 어떤 코드가 영향을 받는지, 아키텍처를 어떻게 설계할지 정하는 중요한 단계라 가능한 한 최고의 모델을 써야 한다. 반면 그 계획대로 실제 코드를 짜는 단계에서는 프런티어 모델이 굳이 필요하지 않고, 좋고 저렴한 모델도 코드를 매우 잘 쓴다.

발표자가 소개하는 작업 흐름은 이렇다. 먼저 프런티어 모델과 대화하며 기능을 설계하고, 결론이 나면 그 모델에게 수백 줄짜리 '스펙(spec)' 문서를 쓰게 한다. 스펙은 어떤 기능을 왜, 어떻게 단계적으로 만들지 상세히 담은 문서다. 이 스펙을 코딩에 충분히 능한 저렴한 모델에 넘겨 실제 코드를 작성하게 한다. 코드가 완성되면 PR을 만들고, 선택적으로 프런티어 모델에게 그 PR을 리뷰시켜 피드백이 있으면 다시 저렴한 모델로 수정한다.

발표자는 실제 토큰 비용으로 효과를 계산해 보인다. 예시에서 계획은 입력 10만·출력 2만 토큰, 코딩은 입력 15만·출력 12만 토큰을 쓴다고 가정한다. 프런티어 모델로 모든 것을 하면 계획 2달러, 코딩 7.5달러로 총 9.5달러가 든다. 반면 계획만 프런티어 모델로 하고 코딩을 저렴한 모델(입력 100만당 2달러·출력 100만당 6달러)로 옮기면 코딩 비용이 약 1달러로 떨어져 총 3달러 남짓이 되며, 약 68%를 아낀다는 계산이다. 출력 토큰이 입력보다 다섯 배 비싸고 코딩이 출력을 많이 쓰기에 이 전략이 통한다.

실행 방법으로는 가장 수동적인 방식부터 소개한다. 두 개의 구독을 쓴다면 프런티어 모델과 대화해 스펙을 만든 뒤 이를 복사해 저렴한 코딩 모델에 붙여 넣어 빌드시키고, 완성된 PR을 다시 프런티어 모델에 리뷰시키는 식의 복사-붙여넣기 반복이다. 발표자는 이런 도구들이 서로를 호출할 수 있어, 계획은 프런티어 모델이 맡고 코드 작성은 CLI를 통해 저렴한 모델에 위임하는 간단한 스킬도 직접 만들어 보였다고 설명한다.

프런티어 랩의 공식 도구들은 자사 최상위 모델 사용을 유도하기에 모델 라우팅 유인이 크지 않다. 반면 커서, 팩토리, 데빈 같은 서드파티 하니스는 라우팅을 차별점으로 삼아 공들여 왔다. 커서의 auto 모드는 작업을 적절한 모델로 자동 배분하고, 쉬운 작업은 자체 코딩 모델로 넘기기도 한다. 발표자는 코딩뿐 아니라 문서 작업 같은 지식 업무에서도 기본값을 그대로 쓰지 말고 모델 종류와 사고 수준을 작업 난이도에 맞게 고르라고 강조한다. 대규모로 쓸수록 이 절감은 더 중요해지며, 토큰 사용량이 늘어도 라우팅으로 총비용을 낮춘 기업 사례도 언급된다.

주요 인사이트

• 비용 절감의 열쇠는 더 싼 모델 하나를 고르는 것이 아니라, 한 작업 안에서 계획과 실행을 분리해 각 단계에 필요한 만큼의 성능만 쓰는 것이다.
• 출력 토큰이 입력보다 훨씬 비싸다는 가격 구조 때문에, 출력이 많은 코딩 단계를 저렴한 모델로 옮기는 것이 절감의 핵심 지렛대가 된다.
• 잘 작성된 스펙 문서가 있으면 덜 강력하지만 충분히 좋은 모델도 그 계획대로 코드를 효과적으로 써낼 수 있다.
• 프런티어 랩의 공식 도구는 라우팅 유인이 약한 반면, 서드파티 하니스는 자동 라우팅을 차별점으로 발전시켜 왔다.
• 모델 종류뿐 아니라 사고(thinking) 수준도 골라야 한다. 대부분의 문제에 최고 수준의 사고가 필요하지 않으며, 간단한 작업은 낮은 수준으로도 충분하다.

자주 묻는 질문

관련 AI 소식