AI 토큰 절약법 15가지: 클로드·코덱스 사용 한도에 금방 걸리는 진짜 이유와 대처 습관

핵심 메시지

• 챗봇은 기억을 가진 것처럼 보이지만, 실제로는 매번 대화 전체를 처음부터 다시 모델에 보낸다. 그래서 열 번째 질문은 첫 질문보다 훨씬 비싸다.
• 발표자가 하루 동안 측정한 코덱스 작업량은 37억 7천만 토큰이었고, 그중 35억 9천만 토큰(약 96%)이 이미 모델이 본 적 있는 '재전송 입력'이었다.
• 출력은 두 번 비용을 낸다. 길게 쓴 답변은 그 자체로도 비싸고, 다음 요청부터는 입력에 얹혀 계속 따라다닌다.
• 일이 바뀌면 새 대화를 시작하고, 앞 단계의 결과물만 다음 단계로 넘기는 것이 가장 큰 절감 효과를 냈다.
• 도구를 많이 연결할수록 설명문만으로도 토큰이 나간다. 앤트로픽 자료 기준으로 여러 도구 서버를 붙이면 아무 작업을 하기 전에 약 5만 5천 토큰이 먼저 소모된다.

쉽게 이해하기

AI 챗봇을 쓰다 보면 특별히 무리한 요청을 하지 않았는데도 '몇 시간 뒤에 다시 오라'는 안내를 받는 일이 잦다. 발표자는 그 원인이 사용자의 요청량이 아니라 대화가 누적되는 방식에 있다고 설명한다. 모델은 기억 장치가 없기 때문에, 새 메시지를 보낼 때마다 지금까지의 대화 전체를 다시 묶어 함께 전송한다.

그 결과 사용자가 방금 입력한 문장은 전체 요청에서 아주 작은 조각에 불과해진다. 발표자가 하루 동안 자신의 작업을 추적해 보니 143개의 작업 스레드에서 37억 7천만 토큰이 오갔는데, 이 가운데 35억 9천만 토큰가량이 모델이 이미 본 내용을 다시 보낸 것이었다. 답변이 마음에 들지 않아 재시도할 때마다 그 누적분이 통째로 한 번 더 실려 나간다.

그가 제시하는 기본 습관은 단순하다. 잘못 쓴 질문은 새 메시지로 정정하지 말고 원래 메시지를 수정해 다시 보내고, 같은 자료를 두고 여러 개 물을 것이 있다면 한 번에 묶어 묻는다. 답변 형태도 미리 지정한다. 한 장짜리 요약인지, 150자인지, 불릿 다섯 개인지 말해 두면 모델이 형식을 탐색하며 쓰는 토큰이 줄어든다.

작업의 성격이 바뀌면 새 대화를 여는 것이 가장 효과가 컸다고 한다. 이때 앞의 대화를 버리는 것이 아니라, 조사 단계에서 나온 보고서처럼 '확정된 결과물'만 다음 단계로 옮기면 된다. 초안과 반려된 자료, 모델의 사고 과정까지 통째로 끌고 갈 이유는 없다는 것이다. 같은 맥락에서 파일 검색은 가능하면 사용자가 직접 해 필요한 부분만 붙여넣고, 문서도 형식이 중요하지 않다면 PDF 대신 텍스트로 변환해 보내라고 권한다.

긴 작업을 중간에 끊을 수 없을 때를 위한 장치도 언급된다. 오픈AI는 장시간 작업의 상태를 이어가는 압축(compaction)을, 앤트로픽은 오래된 도구 실행 결과와 사고 블록을 정리하는 컨텍스트 편집을 지원한다. 다만 이는 앞선 대화를 근사치로 요약해 이어가는 방식이므로 완벽하지 않고, 사용자가 자신의 컨텍스트 잔량을 인지하고 미리 대비해야 한다고 강조한다.

주요 인사이트

• 사용 한도는 요금제 문제가 아니라 대화 관리의 문제로 볼 수 있다. 같은 구독료로도 대화를 어떻게 끊고 무엇을 넘기느냐에 따라 실제로 쓸 수 있는 작업량이 크게 달라진다.
• 모델이 똑똑해질수록 긴 대화를 감당할 수 있게 되면서 오히려 정리를 미루게 되는 역설이 생긴다. 도구와 자료를 많이 붙일수록 벽에 더 빨리 부딪힌다는 지적은 여기서 나온다.
• 발표자는 '작업을 끝낼 수 있는 가장 단순한 모델을 쓰라'고 권한다. 성능이 높은 모델을 기본값으로 삼는 습관이 한도 소진의 숨은 원인이라는 것이다.
• 프롬프트 캐싱은 반복 작업이 많은 API 사용자에게 유효한 기법이며, 일반적인 챗봇 이용자에게는 우선순위가 아니라고 선을 긋는다.
• 발표자는 이런 습관을 자동화하는 자체 도구도 함께 소개하지만, 도구가 개입하는 시점에는 이미 요청이 전송된 뒤라는 구조적 한계도 함께 인정한다.

자주 묻는 질문

관련 AI 소식