LLM 추론 최적화 입문: KV 캐시와 프리필이 GPU 비용과 응답 속도를 결정하는 이유

핵심 메시지

• GPU 위에는 모델 가중치 아니면 토큰(KV 캐시) 둘뿐이다. 가중치가 차지하고 남은 공간이 곧 동시에 처리 가능한 요청량이다.
• 추론은 프롬프트 전체에 어텐션을 계산하는 프리필 단계와, 토큰을 하나씩 만들어내는 생성 단계로 나뉜다.
• KV 캐시는 LLM의 기억장치다. 이것이 없으면 토큰을 만들 때마다 앞선 프롬프트를 처음부터 다시 계산해야 한다.
• 첫 토큰까지 걸린 시간, 토큰 간 지연, 전체 생성 시간을 부하 상태에서 측정해야 실제 성능이 보인다.
• 입력·출력 길이의 조합(긴 입력/짧은 출력 등) 네 가지 패턴이 비용과 성능을 결정하므로 실제 트래픽 분포를 측정해야 한다.

쉽게 이해하기

엔비디아에서 LLM 추론을 담당하는 솔루션 아키텍트 마크 모유(Mark Moyou)는 AI 엔지니어 컨퍼런스에서 20분 만에 추론 내부 구조를 훑는 강연을 했다. 그가 잡은 목표는 명확하다. 배포 비용이야말로 LLM 서비스를 의미 있는 규모로 키우지 못하게 막는 요인이므로, 그 비용이 어디서 발생하는지 직관을 갖추자는 것이다.

그의 설명은 프롬프트가 GPU에 올라가는 순간부터 시작한다. 텍스트는 모델마다 다른 토크나이저를 거쳐 토큰 ID로 바뀌고, 각 토큰은 임베딩 벡터가 되어 하나의 행렬로 GPU에 올라간다. GPU가 이 작업에 유리한 이유는 단순하다. 행렬 연산이 매우 빠르기 때문이다. 발표자는 토큰이 사람의 단어와 일대일로 대응하지 않고 단어 조각인 경우가 많다는 점, 대략 네 글자쯤이 한 토큰이라는 감각을 먼저 잡아두라고 조언했다.

핵심은 어텐션과 KV 캐시다. 모델 가중치의 쿼리·키·값 행렬을 곱해 나온 키와 값이 바로 LLM의 기억에 해당한다. 새 토큰을 생성할 때마다 그 토큰이 앞서 나온 모든 토큰과 어떤 관계인지 계산해야 하는데, 키와 값을 캐시해두면 이미 처리한 프롬프트를 다시 계산할 필요가 없다. 발표자가 "모든 LLM 성능 엔지니어는 이 KV 캐시를 최대한 빠르고 작게 만들려 애쓴다"고 표현한 이유다. 어텐션 헤드가 32개인 모델이라면 KV 캐시도 32벌이 동시에 유지된다.

메모리 계산법은 간단한 어림셈으로 정리된다. 파라미터 수에 2를 곱하면 FP16 기준 기가바이트 단위 메모리다. 20GB 남짓한 GPU에 80억 파라미터 모델을 FP16으로 올리면 16GB를 가중치가 가져가고 남는 4GB가 전부 KV 캐시 몫이 된다. 그래서 FP16에서 FP8로, 다시 FP4로 정밀도를 낮추는 흐름이 중요해진다. 모델을 절반으로 줄이면 속도가 빨라질 뿐 아니라 토큰을 담을 공간이 그만큼 늘어나기 때문이다.

측정 지표로는 첫 토큰까지의 시간(어텐션 처리 성능을 반영), 토큰 간 지연, 전체 생성 시간이 제시됐다. 발표자가 가장 중요하다고 강조한 것은 질의 패턴이다. 긴 입력/짧은 출력, 긴 입력/긴 출력, 짧은 입력/긴 출력 등 조합에 따라 메모리 점유와 비용이 완전히 달라지는데, 벤치마크는 그중 유리한 한두 가지만 고르는 경우가 많다. 그래서 실제 사용자들의 입력·출력 길이 분포를 히스토그램으로 측정해 엔진을 그 분포에 맞춰 다시 빌드하라는 것이 그의 권고다.

주요 인사이트

• "아무리 빠르다고 주장해도 토큰은 한 번에 하나씩 생성된다"는 전제를 이해하면 지연 시간 논쟁이 훨씬 명확해진다.
• 백만 명이 각각 1만 토큰을 보내면 그만큼의 어텐션 계산이 동시에 발생한다. 프롬프트 길이는 곧 남의 요청까지 밀어내는 비용이다.
• 컴퓨터 비전처럼 GPU 하나에 여러 모델을 올려 처리량을 높이는 전략은 LLM 추론에는 통하지 않는다. 남는 공간은 전부 KV 캐시에 써야 한다.
• 긴 문맥 모델을 처음부터 훈련하지 않고 짧은 문맥으로 훈련한 뒤 확장하는 이유도 메모리 비용에 있다. 문맥이 길수록 필요한 GPU가 폭증한다.
• 특정 GPU에 맞춰 컴파일한 추론 엔진은 다른 GPU로 옮길 수 없다. 하드웨어에 맞춰 알고리즘을 다시 쓰기 때문에 그만큼 빠른 것이다.
• 시간대별로 질의 패턴이 달라진다면 시간대별로 다른 추론 엔진을 쓰는 '계절형 엔진' 접근도 가능하다는 아이디어가 제시됐다.

자주 묻는 질문

관련 AI 소식