오픈AI 빌드아워 정리: GPT-5.6 시대의 토큰 비용 절감법 — 캐싱, 프로그래매틱 툴 호출, 컴팩션

핵심 메시지

• 올해 초 유행한 '토큰 맥싱'(토큰을 얼마나 많이 썼는지로 진척을 재는 방식)은 연간 AI 예산을 몇 달 만에 소진하는 기업이 나오면서 역풍을 맞았다. 오픈AI는 대신 'AI가 실제로 무엇을 끝냈는가'로 성과를 재는 '밸류 맥싱'을 제안했다.
• 발표자는 '내일 토큰 지출을 두 배로 늘린다면, 그게 값어치를 했는지 무엇으로 알 수 있겠는가'라는 질문을 판단 기준으로 삼으라고 조언했다. 답을 내리려면 결국 좋은 결과가 무엇인지 정의하는 평가(eval)가 먼저 필요하다.
• 토큰을 줄이는 것만이 정답은 아니다. 품질을 확보해야 할 때, 벽시계 시간을 아껴야 할 때, 잘 돌아가는 워크플로를 확장할 때, 리스크를 관리해야 할 때는 오히려 더 쓰는 편이 가치가 높다고 설명했다.
• API 쪽 절감 수단으로는 프로그래매틱 툴 호출(모델이 자바스크립트 샌드박스에 코드를 써서 도구를 호출), 프롬프트 캐싱, 지속 추론(persistent reasoning), 컴팩션이 소개됐다. 데모에서 캐싱은 입력 비용 90% 절감, 컴팩션은 입력 토큰 82% 감소(2만 4천 → 4천여 토큰)를 기록했다.
• 게스트로 나온 마케팅 자동화 스타트업(발표자는 웹플로우 공동창업자 출신)은 KV 캐시를 깨지 않는 설계만으로 도구 스키마 토큰 45% 감소, 평가 기준 비용 33% 절감, 새 대화 첫 메시지 비용 89% 절감을 달성했다고 밝혔다.

쉽게 이해하기

오픈AI가 개발자 대상 온라인 세션 '빌드 아워'에서 GPT-5.6 출시 이후 처음으로 비용과 효율을 주제로 삼았다. 진행을 맡은 개발자 경험팀의 찰리는 올해 초 업계에 퍼진 '토큰 맥싱'이라는 말부터 짚었다. 얼마나 많은 토큰을 태웠는지, 몇 개의 에이전트를 동시에 돌렸는지를 사내 리더보드로 관리하던 회사들까지 등장했다는 것이다.

그 흐름은 오래가지 않았다. 1년치 AI 예산을 몇 달 만에 써버린 기업이 나오면서 지출을 조이는 분위기가 생겼고, 직원을 평가하려면 사용량이 아니라 산출물을 봐야 한다는 지적이 이어졌다. 그래서 나온 대안이 '밸류 맥싱'이다. AI를 얼마나 썼는지가 아니라, AI가 어떤 일을 끝냈고 시간을 얼마나 아꼈으며 결과물의 품질을 얼마나 올렸는지로 진척을 재자는 것이다.

다만 발표자는 '무조건 아끼라'는 뜻이 아니라고 선을 그었다. 결과 품질이 중요하면 추론 수준을 올리거나 더 큰 모델로 바꾸고, 두 달 걸릴 언어 마이그레이션을 두 주로 줄이고 싶으면 토큰을 더 쓰는 편이 낫다는 것이다. 출력이 절대 틀리면 안 되는 시스템이라면 여러 모델을 심판(LLM as a judge)으로 붙여 검증하는 데 토큰을 더 쓰라고도 권했다.

실무 팁도 이어졌다. 코딩 에이전트에서는 무조건 최고 추론 단계로 시작하지 말고 상위 모델의 '중간' 추론에서 출발해 부족할 때만 올리라는 것, 매번 승인을 누르기보다 다른 모델이 결과를 검토하는 자동 승인 모드를 기본으로 쓰라는 것, 그리고 6~12개월 전에 써둔 에이전트 지시문(AGENTS.md)과 스킬 문서를 다시 감사해 불필요해진 지시를 걷어내 입력 토큰을 아끼라는 것이 대표적이다.

세션 후반에는 실제 프로덕션 에이전트를 GPT-5.6으로 옮긴 스타트업이 등장해 캐싱 실전 노하우를 공개했다. 에이전트 루프는 단계마다 이전 입력을 전부 다시 처리하기 때문에 토큰 처리량이 제곱으로 불어나는데, 캐시가 유지되면 이미 처리된 토큰의 비용이 크게 떨어진다. 문제는 컨텍스트 앞부분을 건드리는 순간 캐시가 통째로 깨진다는 점이다.

주요 인사이트

• 캐시는 '덧붙이기 전용(append-only)' 규칙을 지켜야 살아남는다. 토큰을 아끼겠다고 도구 목록을 동적으로 바꾸면, 도구 스키마가 컨텍스트 맨 앞에 있기 때문에 오히려 캐시가 깨져 비용이 더 나온다. 이 스타트업은 자주 쓰는 핵심 도구만 상시 로드하고 나머지는 필요할 때 컨텍스트 끝에 붙이는 방식으로 이 문제를 피했다.
• 시스템 프롬프트에 현재 시각처럼 매번 바뀌는 값을 넣으면 캐시가 무효화된다. 바뀌는 정보는 프롬프트 맨 뒤에 붙이고, 변하지 않는 큰 덩어리는 앞에 모아 캐시 대상으로 삼는 것이 기본기다.
• 프로그래매틱 툴 호출은 도구 호출과 계산을 모델의 사고 과정 바깥(샌드박스)으로 밀어낸다. 데모에서는 입력 토큰 24% 감소와 함께 모델 왕복 한 턴이 통째로 사라졌고, 최종 답을 정리하는 추론이 줄면서 출력 토큰도 함께 줄었다.
• 도구 자체를 설계하는 것이 가장 저평가된 절감 수단이다. 이 스타트업은 웹 검색 결과를 요점만 남기는 옵션으로 바꿔 응답 크기를 70% 줄였고 연간 3만 7천 달러 절감을 추정했으며, 독립적인 도구 호출을 한 단계로 묶는 것만으로 동일 통과율에 비용 14%를 줄였다.
• 서브에이전트는 만능이 아니다. 발표자들은 위임 계층이 두 단계를 넘어가면 맥락 손실이 커진다고 봤고, 병렬화가 잘 되고 서로 같은 파일을 건드리지 않는 작업에 적합하다고 정리했다. 상위 모드(ultra)는 토큰을 극단적으로 쓰므로 무거운 작업에만 쓰라는 조언도 덧붙었다.

자주 묻는 질문

관련 AI 소식