토큰 엔지니어링이란? AI 사용 비용을 줄이는 7가지 프롬프트 습관

핵심 메시지

• AI 도구는 메시지가 아니라 토큰을 센다. 토큰은 대략 단어의 4분의 3에 해당하며, 입력 토큰(프롬프트·대화 이력·파일·시스템 지시)과 출력 토큰(생각 토큰 포함)이 모두 비용으로 계산된다.
• 긴 대화를 이어가면 AI가 매 프롬프트마다 이전 대화 전체를 다시 읽기 때문에, 40개 메시지 스레드는 그 40개를 한 번에 다시 보내는 것만큼 비용이 든다.
• 토큰 엔지니어링은 ‘AI를 덜 쓰는 것’이 아니라 ‘가장 낮은 토큰 비용으로 가장 좋은 출력을 얻는 것’이며, 2026년 이후 점점 더 가치 있는 역량이 된다.
• 구체적으로 쓰기, 출력 형식·길이 지정, 불필요한 긴 대화 이어가지 않기, 안 쓰는 기능 끄기, 작업에 맞는 모델 고르기, 질문 묶기, 메모리·프로젝트 활용의 7가지 습관이 핵심이다.
• 여러 도구(Claude·ChatGPT·Gemini)에 사용량을 분산하는 보너스 전략과 함께, ‘토큰 맥싱’ 유행과 달리 효율을 추구하는 사람이 결국 더 좋은 결과를 얻는다.

쉽게 이해하기

영상은 AI 사용량 한도에 자꾸 걸리고 요금이 왜 오르는지 모르는 사람들을 향한다. 발표자는 한 기업이 직원들의 Claude 사용에 한도를 두지 않아 한 달에 5억 달러를 ‘실수로’ 썼다는 Axios 사례, 수백만 달러 토큰 청구 후 코드 라이선스 수천 개를 취소한 마이크로소프트, 4월에 이미 2026년 AI 예산을 소진한 우버, 컴퓨트 비용이 직원 비용을 넘어섰다는 엔비디아 임원의 말 등을 인용한다. AI를 ‘무제한’처럼 다룰 때 벌어지는 일이라는 것이다.

그는 토큰의 개념부터 설명한다. AI는 메시지가 아니라 토큰을 세며, 1토큰은 대략 단어의 4분의 3, 100단어 프롬프트는 약 130토큰에 해당한다. 비용은 두 갈래로 쌓인다. 입력 토큰은 프롬프트·이전 대화 이력·업로드한 파일·웹 출처·배경의 시스템 지시처럼 AI가 ‘읽어야 하는 모든 것’이고, 출력 토큰은 AI가 ‘써내는 모든 것’으로 내부 추론(생각) 토큰까지 포함한다. 게다가 상위·추론 모델은 토큰당 단가도 훨씬 비싸다.

가장 많이 놓치는 지점은 긴 대화의 누적 비용이다. 새 프롬프트를 보낼 때마다 AI가 그 대화의 모든 부분을 다시 읽기 때문에, 지난주의 40개 메시지 스레드는 지금 그 40개를 한꺼번에 다시 보내는 것과 맞먹는 비용이 든다. 이 ‘숨은 누수’는 ChatGPT·Gemini·Claude를 가리지 않고 발생한다.

발표자는 곧바로 적용할 수 있는 7가지 습관을 제시한다. ①장황하지 말고 구체적으로 묻기 ②출력 형식과 길이를 지정하기(예: 불릿 3개, 100단어 이내, 추론 말고 답만) ③필요 없으면 긴 옛 대화를 다시 열지 않기(이어가면 사용량이 즉시 10~30%까지 뛴다, 새 대화를 시작하거나 요약을 받아 넘기기) ④안 쓰는 기능 끄기(웹 검색·딥리서치·커넥터·이미지 생성) ⑤작업에 맞는 모델 고르기(간단한 일에 최상위 모델을 쓰지 말 것) ⑥질문을 묶어서 한 번에 묻기 ⑦메모리와 프로젝트로 필요한 맥락만 끌어오기.

보너스로, 여러 도구를 함께 쓴다면 한도가 빡빡한 도구로 프롬프트를 넘기기 전 다른 도구로 다듬거나, 한 도구에서 한도에 다다르면 대화를 요약해 다른 도구로 옮겨 작업을 이어가라고 조언한다. 그는 이런 습관을 들인 뒤 시간 낭비가 줄고 더 구조적으로 사고하게 됐다며, ‘토큰을 많이 쓸수록 AI를 잘 쓴다’는 식의 ‘토큰 맥싱’ 유행과 정반대로 효율을 추구하는 ‘토큰 엔지니어링’이 앞으로의 차별점이 될 것이라고 강조한다.

주요 인사이트

• 출력 토큰이 대체로 입력 토큰보다 비싸기 때문에, 길이·형식을 지정해 짧게 받는 것만으로도 비용이 빠르게 줄어든다.
• 옛 대화를 이어가는 것 자체가 큰 비용이라는 점은 발표자도 영상 준비 중 처음 깨달았다고 할 만큼 간과되기 쉬운 함정이다. 관련 없으면 새 대화로, 필요하면 요약만 가져가는 것이 좋다.
• 기본값을 ‘가벼운 모델·기능 끔’으로 두고 필요할 때만 켜는 습관이, 단순 작업에 무심코 최상위 모델을 쓰는 비싼 습관을 막는다.
• 메모리에 오래되거나 틀린 정보가 남아 있으면 매 프롬프트마다 끌려와 토큰을 낭비하고 오답을 부르므로, 주기적으로 ‘어떤 메모리가 아직 유효한지’를 물어 정리하는 메모리 점검이 필요하다.
• ‘나쁜 출력은 곧 돈’이며 보통 나쁜 입력에서 비롯된다. 결국 프롬프트 전에 충분히 생각하는 판단력과 안목이 AI 슬롭을 피하고 비용을 아끼는 핵심 역량이 된다.

자주 묻는 질문

관련 AI 소식