추론 토큰 비용 완전 정리: LLM 요금이 눈에 보이는 답변 길이보다 훨씬 크게 나오는 이유

핵심 메시지

• 입력 토큰은 상대적으로 저렴하지만 출력 토큰은 비싸며, 영상에서는 100만 출력 토큰당 16달러 수준까지도 갈 수 있다고 설명한다.
• 입력 150토큰에 출력 300토큰을 예상한 요청도 추적 도구로 들여다보면 실제로는 2000토큰 가까이 소모된 경우가 있다.
• 그 차이를 만드는 것이 추론 토큰으로, 모델이 더 나은 답을 내려고 내부에서 스스로 논쟁하는 과정에서 발생한다.
• 일부 프런티어 모델은 추론 흔적을 보여주지 않는데, 사고 과정이 공개되면 그것을 증류해 비슷하게 행동하는 모델을 만들 수 있기 때문이다.
• 가장 좋은 모델에 사고 강도를 높게 켜는 습관이 조직 비용을 조용히 키우므로, 질문이 단순하면 더 가벼운 모델이나 낮은 사고 강도로 충분하다.

쉽게 이해하기

머신러닝과 대규모 언어모델을 배우기 시작하면 흔히 '토큰이 들어가고 토큰이 나온다'는 단순한 그림을 접한다. 입력을 넣으면 출력이 나오고, 그 사이는 별일 없어 보인다. 영상은 화이트보드 강의 형식으로 이 사이에서 벌어지는 일을 파고든다. 실제로는 사용자가 모르는 사이에 수천 개의 토큰이 타버릴 수 있다는 것이다.

예시는 구체적이다. 문단 하나를 다시 써 달라거나 간단한 조사를 부탁하는 정도의 요청에 입력이 150토큰, 출력이 300토큰이면 무난해 보인다. 그런데 LangTrace 같은 추적 도구에서 실제 흐름을 열어보면 최종 출력 토큰이 300이 아니라 2000 근처로 찍혀 있다. 사용자가 무언가를 잘못 켠 것이 아니라, 배후에서 진행되는 과정이 요금에 포함된 것이다.

발표자는 이를 추론 토큰이라고 설명한다. 모델이 더 나은 답을 만들기 위해 내부적으로 스스로 논쟁을 벌이는 과정에서 생기는 토큰이며, 여기에는 모델이 자신의 답을 심판처럼 평가하는 방식 같은 기법이 쓰일 수 있다. 일부 프런티어 모델은 이 추론 흔적을 일부 보여주지만, 아예 감추는 모델도 있다.

감추는 이유도 짚는다. 추론 흔적은 모델이 어떻게 사고하고 어떻게 행동하는지를 드러내는 정보라서, 여기에 접근할 수 있으면 그 모델을 증류해 비슷하게 동작하는 새 모델을 만들 수 있다는 것이다. 발표자는 커서가 다른 회사 모델을 바탕으로 자체 모델을 만들었다는 사례를 기억에 의존해 언급하면서, 세부 이름은 확실하지 않다고 스스로 단서를 붙인다.

결론은 사용자의 선택으로 향한다. 사고 강도를 높음으로 켜고 가장 강한 프런티어 모델을 쓰면 최고의 결과가 나온다고 믿기 쉽지만, 정말 최고의 결과가 필요한지 되물어야 한다는 것이다. 질문이 단순하고 답도 단순하다면 더 가벼운 모델로 충분하고, 강한 모델을 쓰더라도 사고 강도를 낮게 두면 된다. 추론 토큰은 우리가 모르는 사이에 가장 많이 태워지는 토큰이며, 그 비용은 실제 돈으로 나간다.

주요 인사이트

• 요금 구조에서 출력 토큰이 비싼 이유는 모델이 그 토큰들을 생성하느라 시간을 쓰기 때문이며, 추론 토큰도 결국 이 출력 쪽 계산에 얹힌다.
• 청구서와 눈에 보이는 답변 길이가 어긋나는 문제는 추적 도구로 실제 토큰 흐름을 열어보기 전에는 드러나지 않는다.
• 추론 흔적 비공개는 단순한 UI 정책이 아니라 증류를 통한 모델 복제를 막으려는 방어적 선택이라는 설명이 붙는다.
• 모델 선택의 기준은 '가장 좋은 모델'이 아니라 '이 질문에 최고의 결과가 필요한가'라는 질문이어야 한다.
• 발표자는 시청자에게 조직이 추론 토큰에만 얼마를 썼는지 지금 확인해 보라고 권한다.

자주 묻는 질문

관련 AI 소식