LLM 추론 최적화 3단계 정리: 자체 호스팅 판단, 양자화, KV 캐시, 추측 디코딩

핵심 메시지

• 발표자는 대부분의 기업 고객에게 솔직한 기본값은 '자체 호스팅하지 않는 것'이라고 말한다. 상용 API는 이미 고도로 최적화돼 있고 자체 호스팅에는 상당한 구축 비용이 따른다.
• 최적화에 앞서 목표 지표를 최대한 좁게 정의해야 한다. 첫 토큰까지의 시간, 토큰 간 지연, 처리량은 서로 경쟁 관계라 무엇을 포기할지도 함께 정해야 한다.
• 가장 손쉬운 이득은 모델 선택에서 나온다. '딱 충분히 똑똑한' 모델을 고르고 양자화하고 라우팅만 정리해도 절반 정도의 최적화 효과를 얻을 수 있다는 것이 발표자의 경험이다.
• 연속 배칭과 KV 캐시 관리는 최신 추론 프레임워크가 대신 해주는 기본기이며, 운영 단계에서는 캐시 인지 라우팅과 KV 캐시 오프로딩이 필요해진다.
• 추측 디코딩과 프리필·디코드 분리 추론, 소형 모델 파인튜닝은 앞의 두 단계를 다 쓴 뒤에 손대는 고급 기법이다.

쉽게 이해하기

파이토치 콘퍼런스에서 마이크로소프트의 AI 인프라 담당 솔루션 엔지니어 크리스틴 폴이 LLM 추론 최적화 전반을 25분 안에 훑는 발표를 했다. 한 기법을 깊이 파는 대신, 어떤 선택지가 있고 각각 어느 정도의 노력과 보상이 따르는지 지도를 그려주는 것이 목표였다. 그는 최적화를 '노력 대비 효과' 기준으로 세 단계로 나눠 설명했다.

첫 질문은 기술이 아니라 판단이다. 자체 GPU에 모델을 올려야 하는가. 발표자의 솔직한 기본값은 '대부분은 그럴 필요가 없다'였다. 다만 추론 자체가 사업인 제공자, 최신 모델에 즉시 접근하고 전체 스택을 통제해야 하는 연구 조직, 그리고 파인튜닝 모델 운영이나 규제 준수, 망 분리 환경, 대규모 트래픽 같은 구체적 요구가 있는 기업이라면 자체 호스팅이 합리적이라고 했다. 결정을 내렸다면 다음은 목표를 정하는 일이다. 신경 쓰는 지표뿐 아니라 신경 쓰지 않는 지표까지 명시하고, 어떤 백분위를 기준으로 삼을지까지 정하라는 조언이 이어졌다. 핵심 지표는 첫 토큰까지의 시간, 이후 토큰이 이어지는 간격, 전체 요청을 합친 처리량이며, 앞의 둘은 프리필이 연산 병목이고 디코드가 메모리 병목이라는 성격 차이에서 갈린다. 처리량은 이 둘과 상충하므로 배치 작업에서는 첫 토큰 지연을 포기하는 절충이 필요하고, 토큰당 비용뿐 아니라 운영 인력을 포함한 총소유비용까지 함께 봐야 한다.

1단계는 모델 선택이다. 요령은 단순하다. 조금 더 똑똑한 모델이 아니라 '딱 충분히 똑똑한' 모델을 고르는 것이다. 리더보드만 보지 말고 논문과 부록까지 파고들어야 하며, 특히 사용 언어가 소수 언어일 때는 리더보드가 그 차이를 뭉개버리기 때문에 별도의 벤치마크와 자체 평가 데이터셋이 필요하다. 양자화도 사실상 표준이 됐다. 정밀도를 절반으로 낮추면 단계당 1.3~1.7배의 처리량을 얻을 수 있고, 프리필과 디코드를 동시에 빠르게 만드는 드문 기법이다. 다만 가중치 양자화는 거의 안전한 반면 긴 문맥에서의 KV 캐시 양자화는 주의가 필요하고 어텐션 양자화는 더 위험하며, GPU 세대가 어느 정밀도를 네이티브로 지원하는지도 확인해야 한다.

2단계는 프레임워크가 이미 제공하는 것을 제대로 쓰는 일이다. 요청마다 길이가 달라 GPU가 노는 구간을 없애주는 연속 배칭, 필요한 만큼만 블록을 할당하고 같은 프롬프트 접두사를 재사용하는 KV 캐시 관리가 여기 해당한다. 운영에서는 복제본이 여러 개이므로 부하만 보고 라우팅하지 말고 해당 요청의 KV 캐시가 이미 어느 복제본에 있는지를 함께 고려해야 하고, VRAM이 부족할 때 캐시를 호스트 메모리나 로컬 SSD로 내려두는 오프로딩이 실전에서 점점 흔해지고 있다. 모델이 커서 GPU 하나에 안 들어가면 노드 안에서는 텐서 병렬, 대역폭이 낮은 이더넷으로 묶인 작은 노드들 사이에서는 레이어를 순차로 쪼개는 파이프라인 병렬이 현실적인 답이 된다.

3단계는 직접 손을 대는 영역이다. 추측 디코딩은 5억~10억 파라미터 수준의 초안 모델이 여러 토큰을 미리 제안하고 본 모델이 한 번의 패스로 검증하는 방식으로, 수락률이 높으면 한 패스에 여러 토큰을 얻으면서도 출력 분포는 동일하게 유지된다. 분리 추론은 연산 병목인 프리필과 메모리 병목인 디코드를 서로 다른 GPU 풀로 떼어내 각각 따로 튜닝하는 방식으로, 트래픽이 많고 모델이 크며 입력이 긴 에이전트형 코딩 같은 작업에 특히 유효하다. 마지막은 큰 교사 모델로 합성 데이터를 만들어 작은 모델을 파인튜닝하는 증류다. 어휘가 제한적인 텍스트-to-SQL 같은 작업에서 1000억대 모델을 140억대 모델로 대체하면 추론 비용이 크게 줄어든다.

주요 인사이트

• 최적화 논의는 보통 기법 목록으로 시작하지만, 이 발표는 '자체 호스팅을 해야 하는가'라는 판단을 맨 앞에 둔다. 잘못된 전제 위에서는 어떤 기법도 비용만 늘린다.
• 지표를 좁게 정의할수록 달성 확률이 올라간다는 조언은 실무적으로 중요하다. 첫 토큰 지연과 처리량을 동시에 최적화하겠다는 목표는 사실상 목표가 없는 것과 같다.
• 가장 실용적인 조언 중 하나는 기술적이지 않다. 챗봇 요청의 상당수가 '안녕', '뭐 할 수 있어' 같은 인사말이므로 상위 20개 정도는 아예 하드코딩해 LLM을 호출하지 말라는 것이다.
• 양자화 이야기에서 자주 놓치는 지점은 GPU 세대별 네이티브 정밀도다. FP4로 저장하더라도 하드웨어가 연산 단계에서 지원하지 않으면 정밀도가 올려 계산되어 기대한 이득이 그대로 나오지 않는다.
• 파이프라인 병렬은 큰 노드를 확보하지 못한 조직에 현실적인 탈출구다. 레이어를 노드 간에 순차로 나누면 통신이 한 번만 필요해, 이더넷으로 묶인 작은 노드들로도 2000억대 파라미터 모델을 서빙할 수 있다.

자주 묻는 질문

관련 AI 소식