AI 추론 비용 경쟁: 프리필·디코드 분리와 KV 캐시가 좌우하는 서빙 효율, 발표 수치 읽는 법

핵심 메시지

• 한 달 사이 나온 두 건의 발표는 모두 새 칩을 더 꽂지 않고도 같은 하드웨어에서 더 많은 추론을 뽑아내는 방법에 관한 것이다.
• 추론은 입력을 한꺼번에 읽는 프리필과 답을 한 토큰씩 만드는 디코드로 나뉘는데, 두 단계는 필요로 하는 자원과 지연 특성이 서로 다르다.
• AMD가 프리필을, 세레브라스가 디코드를 맡는 조합은 와트당 토큰 최대 5배를 내세우지만 이는 두 회사가 자체 모델링으로 계산한 값이다.
• 오픈AI는 자사 모델이 프로덕션 커널을 다시 쓰게 해 서빙 비용을 20% 줄였고, 추측 디코딩으로 토큰 생성 효율을 50% 넘게 높였다고 밝혔다.
• 이 구조의 성패는 두 시스템 사이를 오가는 KV 캐시가 충분히 빨리 이동하느냐에 달려 있다.

쉽게 이해하기

튜링 포스트의 이번 영상은 한 달 사이에 나온 두 건의 발표에서 출발한다. 오픈AI는 로그인하지 않은 사용자 트래픽의 추론 비용을 아직 공개하지 않은 최적화로 절반 넘게 줄였다고 알려졌고, AMD와 세레브라스는 하나의 AI 응답이 한쪽 시스템에서 시작해 다른 쪽 시스템에서 끝나는 서비스를 예고했다. 진행자는 두 소식이 같은 전제를 공유한다고 정리한다. 추론 비용은 처음부터 고정값이 아니었고, 모든 응답 안에는 아직 꺼내 쓰지 않은 효율이 남아 있다는 것이다.

이해의 출발점은 추론이 두 단계로 이뤄진다는 사실이다. 프리필 단계에서 모델은 입력 토큰을 한꺼번에 읽어 큰 행렬 곱으로 처리하고, 첫 답변 토큰을 내기 위한 내부 상태를 준비한다. 이때 각 어텐션 층은 토큰마다 키와 값 벡터를 만들어 KV 캐시에 담아 둔다. 영상은 이 캐시가 사실을 저장하는 데이터베이스나 에이전트의 장기 기억이 아니라, 그 요청 한 건에서만 재사용되는 임시 상태라는 점을 분명히 한다. 이어지는 디코드 단계는 방금 만든 토큰을 다시 층에 통과시키고 캐시를 참조하며 한 토큰씩 답을 이어 간다.

두 단계는 사용자에게 서로 다른 지연으로 나타난다. 프리필은 첫 글자가 나오기까지의 대기 시간을, 디코드는 그 뒤 글자가 이어지는 속도를 결정한다. 문제는 대부분의 서빙 시스템이 두 단계를 같은 가속기 묶음에 올려 둔다는 데 있다. 긴 프롬프트가 들어오면 한꺼번에 많은 연산이 필요하고, 이미 답을 내고 있는 요청들은 몇 밀리초마다 다음 토큰을 요구한다. 한쪽을 우선하면 다른 쪽이 밀린다. 필요한 용량이 늘어나는 방식도 달라서, 프리필은 입력 길이와 요청 도착률을 따라가고 디코드는 출력 길이와 동시 처리량을 따라간다.

AMD와 세레브라스의 제안은 이 경계를 하드웨어 종류까지 갈라 놓는 것이다. AMD의 랙 규모 설계는 GPU 72장과 최대 30테라바이트의 HBM4 메모리를 프롬프트 처리 엔진으로 쓰고, 웨이퍼 한 장을 통째로 프로세서로 만든 세레브라스 쪽은 90만 개의 코어와 44기가바이트의 온칩 SRAM에서 나오는 빠른 토큰 생성을 맡는다. 다만 영상은 발표된 '와트당 토큰 최대 5배'를 신중히 읽으라고 강조한다. 각주에 따르면 이 값은 2026년 7월에 두 회사가 조 단위 파라미터 모델을 가정해 수행한 모델링 결과이며, 비교 대상은 엔비디아가 아니라 세레브라스 단독 구성이다. 실제 서비스에서 측정한 값이 아니라는 뜻이다.

이런 분리는 갑자기 등장한 발상이 아니다. 영상은 1964년 CDC 6600이 과학 연산용 중앙 처리 장치와 입출력·운영 업무를 맡는 주변 프로세서를 나눈 사례까지 거슬러 올라간 뒤, 2023년 vLLM의 페이지드 어텐션이 임시 상태 관리만 개선해 처리량을 2~4배로 끌어올린 일, 마이크로소프트가 프롬프트 처리와 토큰 생성을 서로 다른 세대의 GPU에 나눠 실험한 일, 문샷 AI가 이 구조를 프로덕션에 올려 하루 1000억 개가 넘는 토큰을 처리한 일을 차례로 짚는다. 결국 새로운 것은 아이디어가 아니라, 그 경계가 연구에서 운영을 거쳐 이제 상용 하드웨어 파트너십으로 옮겨 갔다는 사실이다.

오픈AI 쪽 이야기는 같은 목표를 소프트웨어에서 추구한다. 요청은 지역과 가용 용량, 가속기 종류에 따라 먼저 갈리고, 클러스터 안에서는 부하와 컨텍스트 길이, 캐시 보유 여부가 다시 반영된다. 여기에 자사 모델이 미리 계산하거나 건너뛰거나 병렬화할 수 있는 부분을 찾아 프로덕션 커널을 직접 다시 썼고, 부동소수점 검사 도구로 수치 결과를 확인했다고 한다. 이 작업으로 종단 간 서빙 비용이 20% 줄었고, 작은 초안 모델이 여러 토큰을 제안하면 본 모델이 한 번에 검증하는 추측 디코딩으로 토큰 생성 효율은 50% 이상 개선됐다. 영상은 두 수치가 측정 대상이 달라 단순히 더할 수 없다는 점도 함께 밝힌다.

주요 인사이트

• 보유한 장비의 규모와 실제로 뽑아내는 유용한 추론량은 다르다. 배칭, 캐싱, 라우팅, 수치 정밀도만 손봐도 같은 장비가 처리하는 요청 수가 달라진다.
• 발표 수치는 비교 대상을 확인하고 읽어야 한다. 5배라는 숫자는 경쟁사 GPU가 아니라 세레브라스 단독 구성과 비교한 모델링 값이며, 응답이 5배 빨리 도착한다는 뜻도 아니다.
• 단계 분리가 항상 이득은 아니다. 요청이 짧거나 트래픽이 적거나 캐시 전송이 느리면 두 단계를 한곳에 두는 편이 나을 수 있어, 완성된 서비스로 종단 간 평가를 해봐야 한다.
• 에이전트와 멀티모달 사용이 늘면 코드·문서·영상을 읽는 프리필 부담이 커지고, 긴 추론과 도구 호출 반복은 디코드 부담을 키운다. 두 수요가 다른 속도로 자라기 때문에 분리해서 증설할 이유가 생긴다.
• 추론이 싸진다고 칩 수요가 줄지는 않는다. 비용이 내려가면 더 큰 모델과 더 긴 에이전트 작업이 그 여유를 곧바로 먹어 치울 수 있다.

자주 묻는 질문

관련 AI 소식