AI 토큰 비용의 진실 — 에이전트 코딩이 돈을 잡아먹는 이유

핵심 메시지

• 토큰은 단어 또는 단어의 조각이며, 공백·구두점·특수문자도 각각 토큰이 된다.
• 언어 모델은 자기회귀 방식이라 다음 토큰 하나를 만들 때마다 전체 입력을 처음부터 다시 통과시킨다.
• 코딩 에이전트는 파일 내용을 반복해서 컨텍스트에 밀어 넣기 때문에 토큰과 비용이 순식간에 불어난다.
• GitHub Copilot의 요금 개편과 각 업체의 사용량 제한은 이 막대한 연산 비용상 불가피한 흐름이다.
• 토큰 사용량 자체를 AI 도입 성과로 재는 것은 본말이 전도된 지표다.

쉽게 이해하기

AI 비용이 연일 화제가 되는 가운데, Computerphile은 "토큰이란 무엇인가"라는 기본 질문에서 출발한다. 토큰은 단어이거나 단어의 일부일 뿐이다. 사람은 문장을 단어 단위로 나누지만, 언어 모델은 공백·마침표·중괄호까지 토큰으로 취급한다. 현대 모델은 대략 10만 개 규모의 토큰 사전을 갖고, 자주 쓰이는 수천 개를 중심으로 여러 언어와 코드, 특수 유니코드까지 다룬다.

토크나이저는 모델 앞뒤에 붙는 문자열 파서이며, 각 토큰은 신경망을 지나며 임베딩이라는 고차원 숫자 벡터로 바뀐다. 이 의미 표현은 학습으로 얻어지므로 모델마다 고유하지만, 토크나이저 자체는 대체로 그대로 재사용된다. 자바스크립트처럼 일부 토큰만 쓰는 작업이라도, 방대한 사전 학습이 주는 능력 때문에 전용 모델보다 범용 모델을 특정 도메인으로 미세조정하는 편이 효율적이다.

핵심은 비용이다. 모델은 자기회귀 방식으로 동작한다. 입력 전체를 하나의 긴 목록으로 받아들여 다음 토큰 하나를 출력하고, 그 출력을 다시 입력에 붙여 또 다음 토큰을 만든다. 사람이 답할 때 이전 대화를 매번 통째로 다시 읽지 않는 것과 달리, 모델은 매 단계마다 모든 것을 다시 집어넣는다. 그래서 GPU를 통한 순전파가 출력 토큰 수만큼 반복되고, 이것이 막대한 전기와 비용의 원인이 된다.

완화책이 KV 캐싱이다. 이미 계산한 토큰 간 관계를 저장해 두면 새 토큰을 붙일 때 처음부터 다시 계산하지 않아도 된다. 다만 캐시를 GPU에 얼마나 오래 유지할지가 시스템 설계 문제로 남는다. 사용자가 잠시 자리를 비우면 캐시가 밀려나고, 다시 돌아오면 값을 재적재하는 프리필 과정이 필요하다.

문제가 폭발하는 지점은 코딩 에이전트다. 에이전트는 파일을 읽고 수정하는 툴 콜 권한을 갖는데, 파일 하나가 수천 토큰이라 컨텍스트에 반복 투입되면 질문을 거듭할 때마다 입력이 눈덩이처럼 커진다. 발표자는 간단한 버그 수정 예시에서도 토큰이 5만~6만 개에 이르렀고, Copilot으로 만든 별밤 화면보호기는 여섯 번의 프롬프트만으로 입력 200만 토큰, 출력 4만 7천 토큰을 소비했다고 밝힌다.

주요 인사이트

• 입력 토큰은 100만 개당 약 2~3달러, 출력 토큰은 약 15달러 수준으로 과금되며, 챗봇의 짧은 질문보다 파일을 반복해 읽는 코딩 에이전트가 비용을 폭증시킨다.
• 월 정액 구독은 사실상 보조금이었고, 요청 기반에서 토큰 기반 과금으로의 전환은 실제 연산 비용을 반영한 결과다.
• 토큰 사용량으로 생산성을 재는 것은 "타이어가 빨리 닳는 정도로 운전 실력을 평가"하는 것과 같아, 오히려 장황한 질문을 부추기는 잘못된 인센티브다.
• 지속 가능하려면 즉각적인 제품 성과가 필요하며, 발표자는 코드 품질이 그 비용을 정당화할 만큼 좋은지에 대해 아직 회의적이다.
• 합리적 사용법은 짧고 명확한 질문, 빠른 수정, 반쯤 작성한 반복문을 완성하는 정도의 코드 자동완성처럼 컨텍스트를 적게 쓰는 방식이다.

자주 묻는 질문

관련 AI 소식