모델 라우팅이란 - 값싼 모델 전환이 비용을 늘리는 이유와 프론티어 모델 위임 전략

핵심 메시지

• 싼 모델로 갈아타는 단순한 라우팅은 위험하다. 학습 분포를 벗어난 작업에서 작은 모델은 도구를 반복 호출하며 헤매다 비싼 모델보다 총비용이 더 커진다.
• Cognition은 프론티어 모델에게 계획과 어려운 판단을 맡기고 구현만 값싼 모델에 위임하는 방식으로 최상위 지능 수준의 비용을 40% 낮췄다고 밝혔다.
• 위임은 단순한 절감이 아니라 더 깊은 탐색을 가능하게 한다. 토큰 단가가 낮으니 같은 예산으로 훨씬 많은 토큰을 써서 코드베이스를 더 폭넓게 뒤질 수 있다.
• 에이전트 세션은 도중에 난이도가 바뀌므로 작업 유형만 보고 미리 모델을 배정하는 방식은 취약하다. 프론티어 모델이 실무를 하지 않더라도 계속 지켜보게 두는 편이 안정적이다.
• 모델 라우팅은 아직 연구 단계에 가깝다. 패널 전원이 1년 뒤면 지금 기법이 낡아 보일 것이라 말할 만큼 정답이 정해지지 않은 영역이다.

쉽게 이해하기

여러 모델을 함께 쓰는 시대가 되면서, 어떤 작업을 어떤 모델에 보낼지 결정하는 '모델 라우팅'이 새로운 과제로 떠올랐다. 이 패널에는 AI 소프트웨어 엔지니어 Devin을 만드는 Cognition의 공동창업자 월든 얀, 언어 모델 마켓플레이스 OpenRouter의 알렉스 아탈라, 그리고 모델의 정확도와 비용 특성을 연구해 라우터 설계에 반영하는 NVIDIA 쪽 인력이 함께 앉았다. 이들의 공통된 진단은 이 분야가 아직 명확한 해법이 없는 초기 단계라는 것이다.

가장 인상적인 대목은 값싼 모델이 오히려 비쌀 수 있다는 지적이다. 아탈라는 터미널 벤치를 예로 들며 Opus가 Haiku보다 세 배가량 좋은 결과를 10분의 1 비용에 냈다고 전했다. 토큰 단가만 보면 Haiku가 훨씬 싼데도 그렇다. 작은 모델이 학습 데이터 분포 밖의 문제를 만나면 도구를 미친 듯이 반복 호출하며 루프에 빠지기 때문이다. 반대로 문장에서 사람 이름과 조직 이름을 가려내는 식의 분포 안쪽 작업이라면 큰 모델에 보낼 이유가 없다.

Cognition이 내놓은 대안은 프론티어 모델을 내리는 게 아니라 자리를 바꾸는 것이다. 계획과 어려운 결정은 여전히 최상위 모델이 하고, 실제 구현은 값싼 모델이나 오픈소스 모델에 넘긴다. 얀은 이 방식으로 최상위 수준 지능의 비용을 40% 줄였다고 설명했다. 여기에 반직관적인 이점이 하나 더 붙는다. 위임한 모델의 토큰이 싸니 같은 예산으로 훨씬 많이 쓰게 할 수 있고, 서브 에이전트 서너 개를 풀어 코드베이스를 뒤지게 하면 최상위 모델 혼자 훑는 것보다 오히려 더 꼼꼼해진다는 것이다.

그렇다면 작업 유형별로 미리 모델을 정해두면 되지 않을까. 얀은 이런 순진한 라우팅이 에이전트 작업일수록 취약하다고 반박했다. 실제 개발자는 처음에 '이 코드베이스가 어떻게 돌아가느냐'고 묻고, 다음엔 기능 구현을 시키고, 그다음엔 실제 테스트와 까다로운 디버깅으로 넘어간다. 세션 도중에 작업 종류와 복잡도가 계속 바뀌는데 초반 판단으로 배정된 모델에 발이 묶이면 곤란하다. Cognition의 해법은 프론티어 에이전트를 항상 한 명 남겨두고, 직접 일하지 않더라도 위임한 모델이 자기 깊이를 넘어섰는지 지켜보게 하는 것이다.

모델 사이에 문맥을 넘기는 문제도 만만치 않다. 여러 모델이 같은 파일을 각자 읽으면 같은 내용에 세 번 요금을 내게 된다. 그래서 대부분의 문맥은 작은 모델 쪽에만 두고, 무엇을 읽었는지와 어떤 판단을 했는지 정도만 압축해 메인 모델에 되돌린다. 다만 압축은 캐시 미스를 뜻하므로 입력 토큰 비용이 열 배로 뛴다. 얀은 압축의 진짜 이유가 비용이 아니라 지능이라고 못 박았다. 백만 토큰 문맥창을 광고하는 모델이라도 20만 토큰을 넘기면 성능이 절벽처럼 떨어지니 가능하면 10만 토큰 아래에서 쓰라는 조언이다.

라우팅 수요가 폭발한 계기도 흥미롭다. OpenRouter의 자동 라우터는 2년 가까이 사실상 아무도 쓰지 않는 기능이었다. 그런데 올해 1월 무렵 오픈클로가 뜨면서 상황이 바뀌었다. 이 도구가 클라이언트 생존 확인용으로 10분마다 하트비트를 기본 모델에 보내는데, 기본값이 Opus면 그 확인 절차에만 값비싼 토큰이 계속 흘러나간다. 한 애플리케이션 안에 완전히 다른 두 가지 지능 수요가 존재한다는 사실이 드러났고, 그 뒤로 시장 분할이 본격화됐다.

주요 인사이트

• 벤치마크 순위는 만능이 아니다. 코딩이라는 하나의 영역 안에도 라이브러리마다 서로 다른 강점이 있고, 그 차이는 각 모델이 어떤 학습 코퍼스를 먹었는지에서 온다. 라우팅은 모델을 서열화하는 일이 아니라 서로 보완되는 강점을 파악해 배치하는 일이며, 잘하면 정확도를 10%까지 끌어올릴 수 있다는 언급이 나왔다.
• Cognition은 일반적인 서브 에이전트 대신 '사이드킥'이라는 구조를 쓴다. 문맥을 계속 유지하는 보조 에이전트 하나를 두면 메인 에이전트가 앞선 내용을 다시 넘겨줄 필요가 없고, KV 캐시가 살아 있으니 그 토큰들은 열 배 싸게 처리된다.
• 다음 단계는 모델을 있는 그대로 조립하는 게 아니라 협업을 전제로 함께 설계하는 것이다. Cognition은 훈련 중인 모델을 지휘자 역할로 두는 실험과 반대로 실행자 역할로 두는 실험을 모두 돌리며, 다른 모델의 지시를 얼마나 잘 수행하는지를 함께 평가하고 있다.
• 작은 모델이 헤매고 있다는 신호를 어떻게 잡을지도 논의됐다. 생성 토큰이 많아지는 것 말고도 모델 내부 상태에 선형 프로브 같은 것을 붙여 환각 경향이나 혼란도를 추정하는 접근이 거론됐다. 캐시 자체가 결국 벡터 덩어리이므로 그 위에 분류기를 얹을 수 있다는 발상이다.
• 로컬과 클라우드를 가르는 라우팅은 비용만의 문제가 아니다. 프롬프트에 민감 정보가 들어 있는지 기기에서 먼저 판별해 그 부분만 로컬에서 처리하고, 익명화한 뒤 나머지 고급 작업을 클라우드로 보내는 식의 프라이버시 설계가 가능하다.

자주 묻는 질문

관련 AI 소식