AI VIDEO BRIEFING

LLM 추론 인프라와 토큰 경제학: KV 캐시·배치·컨텍스트 가격이 결정되는 원리

LLM API의 토큰 가격과 컨텍스트 길이 티어는 왜 그렇게 정해질까. 계산 시간과 메모리 시간의 줄다리기, KV 캐시가 잡아먹는 GPU 메모리, 한 랙에 72개를 묶은 NVL72의 구조를 차례로 따라가며 추론 경제학의 뼈대를 한국어로 풀어본다.

출처: AI Frontier Korea (노정석)2026년 5월 8일AI 보조 요약

학습보다 추론이 비싸진 시대: LLM 토큰 가격표에 숨은 하드웨어의 논리 영상 대표 이미지

핵심 메시지

모델을 만드는 학습보다, 만들어진 모델을 돌리는 추론과 서빙 인프라가 비용과 경쟁력의 중심이 됐다.
추론에 걸리는 시간은 계산에 걸리는 시간과 메모리를 읽어 오는 시간 중 더 오래 걸리는 쪽에 묶인다.
배치가 작으면 메모리에, 커지면 계산에 발목이 잡히며 그 사이 어딘가에 토큰당 비용이 최소가 되는 지점이 있다.
KV 캐시가 GPU 메모리의 대부분을 차지하기 때문에 긴 컨텍스트일수록 한 번에 태울 수 있는 사용자 수가 줄어든다.
API 가격표와 캐시 요금, 컨텍스트 길이 티어는 이 하드웨어 제약을 거꾸로 읽어내는 단서가 된다.

쉽게 이해하기

AI 프런티어 코리아의 이 회차는 드워케시 파텔이 새로 선보인 칠판 강의 형식의 에피소드를 함께 공부한 기록이다. 강연자는 구글에서 TPU를 다뤘던 라이너 포프이고, 주제는 요즘 프런티어 랩들이 실제로 돈을 쓰고 있는 지점, 즉 추론과 서빙 인프라다. 진행자들은 그동안 대화가 늘 학습과 모델 크기에만 머물렀다는 점을 짚으며, 코딩 에이전트가 등장한 뒤로는 추론 쪽 부하가 비교할 수 없이 커졌다고 말한다.

이야기는 트랜스포머의 동작을 다시 정리하는 데서 시작한다. 프롬프트를 넣으면 전체 토큰이 한꺼번에 계산되는 프리필 단계에서 각 층마다 키와 값이 만들어져 저장되고, 그 뒤부터는 직전에 나온 토큰 하나만 입력으로 들어가는 디코드 단계가 반복된다. 저장해 둔 KV 캐시 덕분에 앞부분을 다시 계산하지 않아도 되지만, 층이 수십 개인 모델에서는 토큰 하나마다 층 수만큼의 캐시가 쌓여 금세 거대해진다.

하드웨어 쪽도 함께 본다. 블랙웰 NVL72는 예전에 여덟 개까지였던 GPU 간 고속 연결을 한 랙 안에서 72개까지 묶었고, GPU 한 장의 메모리도 192GB에서 288GB 수준으로 커졌다. 랙 하나에 HBM이 약 20TB, CPU 쪽 메모리까지 합하면 40TB 규모다. 5조 파라미터 모델을 FP8로 올리면 5TB를 쓰고 남는 13~14TB가 KV 캐시 몫이 되는데, 이 배분이 곧 몇 명을 동시에 태울지와 컨텍스트를 얼마나 허용할지를 결정한다.

핵심 수식은 단순하다. 걸리는 시간은 계산 시간과 메모리 시간 중 큰 쪽에 묶이고, 계산 시간은 배치 크기와 활성 파라미터 수에, 메모리 시간은 전체 파라미터를 한 번 읽어 오는 시간에 각 사용자의 컨텍스트 길이가 더해진 값에 비례한다. 가로축을 배치 크기로 놓고 그리면 배치가 작을 때는 메모리에, 커지면 계산에 묶이는 그림이 나오고, 토큰당 비용으로 축을 바꾸면 최적점이 드러난다. 계산 성능과 메모리 대역폭의 비율이 세대가 바뀌어도 대략 300 근처를 유지한다는 어림값을 쓰면, 8분의 1 수준의 희소성을 가진 모델에서 최적 배치가 2400 언저리로 나온다.

한 사이클이 20밀리초 안팎으로 잡히는 이유도 같은 산수에서 나온다. HBM 용량을 대역폭으로 나누면 메모리를 한 번 훑는 데 걸리는 시간이 나오고, 최신 장비는 15밀리초, 이전 세대는 40밀리초 정도라 대체로 20~30밀리초에 수렴한다. 이 짧은 열차를 매번 꽉 채워 보내기 위해 vLLM의 페이지드어텐션이나 긴 프리필을 잘게 쪼개 섞어 태우는 기법 같은 서빙 최적화가 붙는다. 진행자들은 이런 인프라 엔지니어링이야말로 프런티어 랩이 밖에 공개하지 않는 진짜 해자라고 정리한다.

주요 인사이트

가격표는 마케팅이 아니라 물리적 제약의 반영에 가깝다. 컨텍스트 20만 토큰 부근에서 요금 티어가 갈리는 것은, 그 지점을 넘으면 KV 캐시 때문에 같은 랙에서 받을 수 있는 사용자 수가 급격히 줄어들기 때문이라는 추정이 나온다.
희소성을 높여 활성 파라미터를 줄이면 한 사이클에 더 많은 사용자를 태울 수 있다. GPU 구입비와 전기요금이 고정된 이상, 같은 시간에 더 많은 요청을 처리하는 쪽이 곧 이익이라는 단순한 셈이 모델 아키텍처를 밀어붙이고 있다.
거꾸로 말하면 트래픽을 충분히 모으지 못하는 사업자는 같은 장비를 놀리면서 감가상각만 떠안게 된다. 서빙 경제학은 규모가 곧 단가인 구조를 만든다.
캐시 요금이 시간대별로 다른 것도 같은 이유다. 사용자가 자리를 비운 사이 KV 캐시를 HBM에 붙잡아 둘지, CPU 메모리나 더 느린 저장장치로 내릴지, 아예 버릴지가 단계별로 갈리고 그 비용이 가격에 반영된다.
경쟁 때문에 가격을 원가 근처에서 매기다 보니, 프런티어 랩들이 의도치 않게 자신들의 내부 토큰 경제학을 가격표로 드러내고 있다는 지적이 흥미롭다.

자주 묻는 질문

프리필과 디코드는 무엇이 다른가요?

프리필은 입력한 프롬프트 전체를 한 번에 병렬로 계산해 각 층의 KV 캐시를 만들어 두는 단계이고, 디코드는 직전에 생성된 토큰 하나만 입력으로 넣어 다음 토큰을 만들어 내는 단계입니다. 그래서 디코드에서는 한 번에 들어가는 토큰이 하나뿐이라 여러 사용자를 같은 배치에 함께 태울 수 있습니다.

왜 배치 크기가 중요한가요?

모델 가중치를 메모리에서 한 번 읽어 오는 비용은 배치를 크게 잡을수록 여러 사용자에게 나눠 상각됩니다. 다만 배치를 계속 키우면 계산 시간이 선형으로 늘어 결국 계산에 묶이므로, 계산 시간과 메모리 시간이 균형을 이루는 지점 부근이 처리량이 가장 좋은 구간이 됩니다.

대화를 잠시 쉬었다 이어가면 왜 비용이 달라지나요?

작업 중이던 KV 캐시가 GPU 메모리에 남아 있으면 그대로 이어 쓸 수 있어 저렴하지만, 오래 자리를 비우면 캐시가 내려가거나 사라져 앞부분을 다시 프리필해야 합니다. 그 경우 입력 토큰 비용이 다시 발생하기 때문에 같은 대화라도 비용이 달라집니다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗