AI 코딩 비용 절감법: 비싼 모델은 조언자, 저렴한 모델은 작업자로 나누는 어드바이저 전략 실험

핵심 메시지

• 가장 저렴한 모델에게 전부 맡기는 것이 가장 싼 방법은 아니었다. 단독 실행에서는 오히려 가장 저렴한 모델이 가장 많은 비용을 썼다.
• 어드바이저 전략은 성능이 높은 모델에게 설계·작업지시서 작성·검증을 맡기고, 실제 코드 구현은 한 단계 아래 모델에게 위임하는 방식이다.
• 다섯 가지 조합 모두 요구한 기능은 완성했지만, 지시하지 않은 세부 사항까지 챙기는 능력에서 상위 모델이 앞섰다.
• 조언자 역할의 핵심은 '일을 잘 시키는 것'과 '언제 멈출지 정해 주는 것'이며, 검증 없이 위임만 하면 비용만 늘어난다.
• 이 전략은 특정 모델에 묶인 것이 아니라 판단과 구현의 단가 차이가 존재하는 한 계속 쓸 수 있는 역할 분리 방법론이다.

쉽게 이해하기

코딩 에이전트를 쓰다 보면 성능과 비용 사이에서 고민하게 된다. 영상 제작자는 '가장 비싼 모델에게 일을 시키지 말고, 일을 시키는 역할을 맡겨라'는 아이디어를 어드바이저 전략이라 부르고, 실제로 돈이 얼마나 드는지 직접 측정했다.

실험 과제는 하나로 통일했다. 표준 테트리스 규칙을 지키는 웹 게임을 만들되 스스로 플레이하는 봇을 넣고, 봇의 실력을 재사용 가능한 방식으로 측정할 수 있게 하며, 코드 품질과 테스트까지 신경 쓰라는 주문이다. 제작자는 명세를 의도적으로 느슨하게 남겼는데, 요구사항을 아주 정밀하게 적으면 어떤 모델이든 만점을 받아 차이가 드러나지 않았기 때문이다.

비교한 구성은 다섯 가지다. Fable 5 단독, Opus 4.8 단독, Sonnet 5 단독, 그리고 Fable 5를 조언자로 두고 Opus 4.8 또는 Sonnet 5를 작업자로 붙인 두 조합이다. 기능 구현 자체는 다섯 조합 모두 성공했고, 블록 미리보기나 홀드 같은 기본기에서는 차이가 없었다.

차이는 비용과 시간에서 갈렸다. Fable 5 단독은 요청 34회에 18.9분, 약 12달러가 들었고 Opus 4.8 단독은 15.4분에 약 7달러였다. Fable 5를 조언자로 두고 Opus 4.8이 구현한 조합은 요청 35회, 브리프 작성 2분을 포함해 약 9분, 약 7.5달러로 가장 효율이 좋았다. 반면 Sonnet 5 단독은 요청이 309회까지 늘고 59분이 걸려 약 20달러가 나왔는데, 이는 할인 기간 단가여서 정가로 환산하면 약 31달러 수준이다.

제작자는 이 결과가 단 한 번의 실행에서 나온 값이라 다시 돌리면 달라질 수 있다는 점을 분명히 밝혔다. 그럼에도 방향은 뚜렷했다. 저렴한 모델은 시키지도 않은 코드 리뷰와 리팩터링을 반복하며 시행착오가 폭증했고, 같은 모델이라도 위에서 방향을 잡아 주는 조언자가 붙으면 작업 시간과 비용이 크게 줄었다.

주요 인사이트

• 모델 단가가 낮다고 총비용이 낮아지지는 않는다. 판단력이 부족한 모델은 언제 멈춰야 할지 모르기 때문에 요청 횟수와 실행 시간이 늘어나면서 결국 더 비싸진다.
• 결과물 품질을 좌우한 것은 작업자 모델의 등급이 아니라 조언자가 써 준 작업지시서의 정밀도와 검증 역할이었다. 검증 없이 위임만 시키면 동작하지 않는 코드가 돌아오고 비용만 늘어난다.
• '완료했다'는 작업자의 보고를 그대로 믿지 말고 변경 내역과 테스트로 직접 확인한 뒤 승인하라는 검증 지시를 프롬프트에 반드시 넣어야 효과가 난다.
• 매번 프롬프트를 붙여 넣는 대신 CLAUDE.md나 AGENTS.md 같은 규칙 파일에 넣어 두면 세션이 길어져도 지시가 흐려지는 것을 줄일 수 있고, 서브에이전트 파일에 모델을 명시하면 모델을 잘못 지정하는 실수도 막을 수 있다.
• 이 전략은 단순 작업보다 여러 단계를 오래 이어 가는 작업에서 효과가 크다. 조언자가 처음 만든 작업지시서를 작업자가 계속 참조하기 때문에 작업이 쌓일수록 이득이 커진다.

자주 묻는 질문

관련 AI 소식