AI 코딩 도구 비용 관리 실전: 100만 달러 청구 예고와 20배 절감 아키텍처

핵심 메시지

• 지난해 요청 기반 요금제로 30만 달러 미만을 쓰던 회사가 사용량 기반으로 바뀐 요금제에서 100만 달러가 넘는 비용을 예상받았다. 다른 도구들을 검토했지만 개발자 선호와 예상 비용 모두에서 대안을 찾지 못했다.
• 가장 먼저 손댄 것은 모델 거버넌스였다. 아무 제약이 없을 때 개발자들은 늘 최상위 모델만 썼고, 이제는 중요한 작업에만 상위 모델을 허용하고 나머지는 중급 모델을 쓰도록 안내한다.
• 생성된 코드 줄 수가 아니라 수락되고 병합된 줄 수를 추적한다. 2만 줄을 생성했는데 12줄만 수락되고 PR은 없는 사례가 나오면서, 깔때기가 아니라 파이프에 가까운 흐름을 목표로 삼았다.
• 500개가 넘던 라이선스를 감사해 월 70달러를 쓰면서 10달러어치도 쓰지 않는 인원 70~80명을 찾아냈다. 사용 현황 점검은 이제 조직 문화의 일부가 됐다.
• 문서 생성 에이전트에 1만 5천 달러를 쓰고도 대부분 환각이 섞인 문서를 얻은 뒤, 작업의 60%가 결정적 단계임을 확인하고 그 부분을 프로그램으로 옮겨 비용을 20분의 1로 줄였다.

쉽게 이해하기

업워크에서 개발자 지원 조직을 이끄는 엔지니어링 디렉터가 사내에서 겪은 두 가지 실패담을 공유했다. 하나는 AI 코딩 도구 비용, 다른 하나는 사내에서 만든 AI 에이전트 비용이다. 두 영역 모두 돈이 빠르게 새어 나가는 곳이라 따로 다룰 가치가 있다는 것이 발표의 전제다.

첫 번째 이야기는 계약 갱신에서 시작한다. 모두가 AI를 원해 도입한 코딩 도구를 1년 쓰고 갱신하려 하자 요금 체계가 요청 기반에서 사용량 기반으로 바뀌어 있었다. 기존 사용량을 새 모델에 대입한 예상치는 지난해 30만 달러 미만에서 100만 달러 이상으로 뛰었다. 다른 업체들을 두루 접촉했지만 개발자들이 원하는 도구는 한정적이었고 예상 비용도 100만 달러를 훌쩍 넘어, 결국 남은 선택은 쓰던 도구를 쓰되 비용을 최적화하는 것이었다.

실행한 대책은 여러 갈래다. 모델을 아무나 아무거나 쓰던 관행을 정리해 중요한 작업에만 상위 모델을 허용했고, 도구 제공사를 불러 계획 수립과 실행에 각각 어떤 모델이 맞는지 교육했다. 프롬프트를 대충 던지고 반복 수정하는 습관 대신 처음부터 구체적인 지시와 출력 형식, 입력 가드레일을 담아 반복 횟수를 줄이도록 했다. 코드를 쓰기 전 계획을 먼저 보여 주는 모드를 활용하고, 프롬프트 캐싱을 적용하고, 파일 하나를 고치는데 저장소 전체를 맥락으로 넘기지 않도록 컨텍스트를 좁혔다. 사내 LLM 게이트웨이에는 기능별 예산 ID를 붙여 어떤 기능에 얼마가 쓰였는지 추적한다.

두 번째 이야기는 에이전트다. 개발자 설문에서 '문서를 찾기 어렵고 찾아도 낡았다'는 불만이 상위에 오르자 코드를 읽어 문서를 생성하는 에이전트를 만들었다. 레시피 방식의 오픈소스 에이전트 프레임워크에 상용 모델을 붙여 주요 서비스 문서를 만들었지만, 서비스 담당 엔지니어들의 검수 결과 대부분이 환각이었고 그 시점에 이미 1만 5천 달러가 나가 있었다. 로그를 훑어 장애 징후를 찾는 에이전트는 주말 이틀 동안 2천 달러를 태우고 꺼졌다.

해법은 더 좋은 모델이 아니라 구조였다. 문서 생성 과정을 단계별로 쪼개 보니 파일 존재 확인, 권한 확인, 파일 읽기처럼 생성형 AI가 필요 없는 결정적 단계가 60%를 차지했고, 이 부분을 그래프 기반 오케스트레이션으로 프로그램화했다. 코드를 읽고 문서를 쓰는 부분만 오픈소스 모델에 맡기고, 품질 평가에만 프런티어 모델을 선별적으로 투입하는 3계층 구조로 바꾸자 결과물의 품질은 올라가고 비용은 이전의 20분의 1로 떨어졌다. 발표자는 마지막으로 ROI 측정을 강조했다. 생성 줄 수가 아니라 실제 운영에 반영된 줄 수, AI 도입 전후의 스프린트 속도, 버그 발생률 같은 지표를 놓고 측정·분석·최적화·배포를 반복하라는 것이다.

주요 인사이트

• 요금제 변경은 기술 결정이 아니라 예산 사건이다. 사용량 기반 과금으로 옮겨 가는 흐름에서는 계약 갱신 시점의 시뮬레이션을 미리 돌려 보는 편이 안전하다.
• '토큰을 많이 쓰라'는 조언은 그 조언을 하는 회사의 사정에 맞춘 말일 수 있다. 발표자는 우리는 그런 회사가 아니라며, 많이 쓰는 것이 아니라 제대로 쓰는 것이 목표라고 못박았다.
• 1,000줄마다 사람이 확인하도록 지시하는 체크포인트는 느려 보이지만 예산을 지킨다. 1만 줄을 만든 뒤 전부 버리는 상황을 감당할 여유가 없기 때문이다.
• 에이전트 비용 문제의 상당수는 모델 선택이 아니라 설계에서 온다. 결정적으로 처리할 수 있는 단계를 생성형 AI에 맡기는 순간부터 비용과 환각이 함께 늘어난다.
• 오픈소스 모델은 더 많은 손질을 요구할 뿐 성능이 나쁘지는 않다는 것이 이 팀의 결론이다. 다만 모델마다 성격이 달라 파일럿을 돌려 성공 기준을 정한 뒤 고르라고 권한다.

자주 묻는 질문

관련 AI 소식