클로드 코드 토큰 비용 줄이기: 캐시 접두부·모델 선택·확장 사고·훅과 서브에이전트

핵심 메시지

• 요금을 결정하는 것은 입력한 글자 수가 아니라 매 턴 통째로 다시 전송되는 컨텍스트다.
• 캐시된 컨텍스트는 10분의 1 가격으로 다시 읽지만, 컨텍스트 앞부분이 매번 동일할 때만 작동한다.
• 한 줄짜리 수정까지 가장 큰 모델을 기본값으로 쓰는 습관이 청구서의 상당 부분을 만든다.
• 기본으로 켜져 있는 확장 사고는 코드가 나오기 전부터 비싼 출력 요율로 과금된다.
• 훅과 서브에이전트는 장황한 도구 출력이 컨텍스트에 들어오기 전에 걸러 내는 장치다.

쉽게 이해하기

영상은 두 개발자가 같은 규모의 코드베이스에서 같은 방식으로 클로드 코드를 쓰는데도 한 사람은 하루 13달러를, 다른 사람은 60달러가 넘는 금액을 내는 상황에서 출발한다. 앤트로픽이 공개한 데이터로도 평균 사용자는 하루 13달러 수준이지만 열 명 중 한 명은 하루 30달러를 넘긴다. 발표자는 이 격차가 실력이나 코드 품질이 아니라 클로드가 답을 쓰기 시작하기 전 단계에서 갈린다고 말한다.

돈을 쓰게 만드는 것은 타이핑이 아니라 컨텍스트다. 모델은 요청과 요청 사이에 기억이 없기 때문에, 대화에서 오간 모든 내용과 열어 본 파일, 실행한 명령의 결과가 매 턴 다시 통째로 전송된다. 영상은 이를 닫히지 않는 식당 계산서에 비유한다. 아침에 시킨 커피를 저녁 디저트를 추가할 때마다 종업원이 처음부터 다시 읽는 셈이고, 그래서 긴 세션 끝에 던진 한 줄짜리 질문도 세션 전체 분량으로 청구된다.

첫 번째 절감 기법은 캐시가 제 역할을 하게 두는 것이다. 이미 본 내용을 다시 읽을 때는 10분의 1 가격이 적용되지만, 이 할인은 컨텍스트의 시작 부분이 요청 사이에 그대로일 때만 성립한다. 프로젝트 메모리 파일과 시스템 지시, 도구 목록이 그 '첫 장'에 해당하므로 이 접두부를 자주 뒤바꾸면 매번 전체를 새로 계산하게 된다. 반대로 캐시에 처음 쓸 때는 평소보다 비용이 25% 더 붙기 때문에, 작은 작업마다 새 세션을 열면 오히려 손해다.

두 번째와 세 번째는 모델과 사고 예산을 작업 크기에 맞추는 문제다. 한 줄 버그를 고치려고 가장 큰 모델을 부르는 것은 영업시간을 물어보려고 로펌 파트너를 고용하는 것과 같고, 테스트 실행이나 로그 확인만 하는 서브에이전트라면 가장 저렴한 모델로 충분하다. 기본값으로 켜져 있는 확장 사고는 눈에 보이지 않는 비용인데, 사고 토큰이 비싼 출력 요율로 과금되므로 코드 한 줄이 나오기 전에 이미 요금이 발생한다. 간단한 문제에서는 사고 예산이나 노력 수준을 낮추는 편이 낫다.

네 번째는 도구 출력이 컨텍스트를 오염시키기 전에 잘라 내는 것이다. 만 줄짜리 로그에서 오류 한 줄을 찾더라도 나머지 구천 줄이 전부 컨텍스트에 들어오는데, 앤트로픽이 제시하는 해법은 클로드가 보기 전에 출력을 걸러 내는 훅이다. 같은 이유로 로그 읽기나 문서 조회는 서브에이전트에 맡겨 짧은 요약만 본 대화로 돌려받는 편이 낫다. 다만 어느 것도 공짜는 아니어서, 여러 인스턴스를 함께 돌리는 에이전트 팀은 단일 세션의 약 일곱 배 토큰을 쓴다.

주요 인사이트

• 비용 문제는 결국 컨텍스트 관리 문제와 같은 것이며, 하나를 고치면 다른 하나도 함께 해결된다.
• 캐시 할인은 자동으로 굴러오는 혜택이 아니라 컨텍스트 접두부를 안정적으로 유지해야 얻는 결과다.
• 병렬 에이전트를 늘리는 선택은 속도를 사고 토큰을 지불하는 거래이지 절약 수단이 아니다.
• 모델이 갑자기 나빠진 것처럼 느껴질 때는 사용량과 현재 컨텍스트를 먼저 확인하는 편이 빠르다.
• 앤트로픽 문서가 밝힌 엔터프라이즈 평균 지출은 월 200달러 수준이고, 이 기법들은 그 기준선을 낮추는 쪽으로 작동한다.

자주 묻는 질문

관련 AI 소식