LLM 추론 벤치마크 InferenceX 분석: 파레토 곡선, FP4 전환, AMD와 엔비디아 격차의 실체

핵심 메시지

• InferenceX는 매일 1,000개 이상의 가속기에서 자동으로 돌아가는 아파치 2.0 오픈소스 추론 벤치마크다. 추론 엔진이 며칠 간격으로 갱신되는 상황에서 한 시점 측정이 금세 낡는 문제를 겨냥했다.
• 최대 처리량 한 점이 아니라 처리량과 지연시간의 파레토 곡선 전체를 본다. 같은 하드웨어라도 대화형으로 쓸지 대량 배치로 쓸지에 따라 최적 지점이 달라지기 때문이다.
• 6개월간 12만 회 스윕, 약 2.65 GPU-년의 측정 결과가 무료로 공개되며 저장소도 열려 있다.
• 칩 자체보다 소프트웨어 성숙도가 격차를 만든다. AMD는 FP8에서 경쟁력을 보이지만 전문가 병렬화 통신 커널이 아직 없어 고처리량 구간을 채우지 못한다.
• 모델이 희소해지는 흐름(전문가 수 증가, 활성화 비율 감소, 희소 어텐션)이 서빙 방식을 바꾸고 있다. 어텐션은 좁게, 전문가는 넓게 병렬화하는 방향이다.

쉽게 이해하기

발표는 왜 또 하나의 벤치마크가 필요한가라는 질문에서 시작한다. 기존 벤치마크는 최대 처리량 한 점만 보여 주는 경우가 많은데, 실제 서비스는 그 한 점에서만 돌아가지 않는다. 팀이 강조하는 축은 처리량뿐 아니라 비용과 총소유비용, 전력이며, 무엇보다 결과가 특정 시점에 고정되지 않도록 새 이미지나 레시피가 나올 때마다 다시 돌린다.

운영 구조 자체는 단순하다. 깃허브 액션으로 작업을 오케스트레이션하고, 기증받은 슬럼 클러스터의 로그인 노드에 러너를 띄워 시나리오마다 서버를 올린 뒤 결과 아티팩트를 모아 웹에 표시한다. 팀은 이 단순함이 재현성을 위한 선택이라고 말하며, 6개월간 12만 회 스윕을 돌린 데이터와 코드를 모두 공개해 두었다.

처리량과 지연시간의 트레이드오프를 설명하며 버스와 F1 경주차 비유가 등장한다. 총비용이 비슷하다고 하면 버스는 40~50명이 비용을 나눠 지므로 사용자당 싸지만 느리고, F1 차는 한 사람이 전부 부담하는 대신 압도적으로 빠르다. 추론도 곡선 위 어느 지점에서든 서빙할 수 있고, 곡선 위의 각 점은 단일 측정이 아니라 배치 크기와 텐서 병렬도 등을 탐색해 얻은 최적값이다.

세대별 비교에서는 프리필이 무거운 8K/1K 시나리오에서 랙 스케일 GB200·GB300의 FP4가 H100 FP8 대비 큰 폭의 개선을 보였고, 발표자는 GPU당 처리량으로 정규화한 수치라는 점을 분명히 한다. 정확도는 GSM8K 기준으로 FP4가 FP8보다 약간 낮지만 차이가 크지 않다고 설명한다. AMD 쪽 평가는 균형이 잡혀 있는데, FP8 기준으로 MI355는 다수 지점에서 앞서지만 전문가 병렬화 통신 커널이 아직 튜닝되지 않아 순수 텐서 병렬만 쓰는 탓에 고처리량 구간에서 곡선이 일찍 끊긴다. 팀은 벤치마크 규칙에서도 포크 대신 상류 이미지를 쓰고, 공개 쿡북의 권장 설정은 허용하되 커널 이름 하드코딩 같은 튜닝에는 선을 긋는다고 밝힌다.

후반부는 모델 구조 변화가 서빙을 어떻게 바꾸는지를 다룬다. KV 헤드 수는 줄고 전체 전문가 수는 늘며 활성화 비율은 25%대에서 5% 안팎까지 내려왔고, 인덱서로 상위 토큰만 골라 어텐션하는 희소 방식도 등장했다. 그래서 어텐션은 데이터 병렬 쪽으로, 전문가는 넓은 전문가 병렬 쪽으로 가며, 프리필과 디코드의 자원 풀을 나누는 분리 서빙과 모델에 내장된 헤드로 여러 토큰을 미리 뽑아 한 번에 검증하는 다중 토큰 예측이 함께 쓰인다. 마지막으로 발표자는 공개된 서빙 가격과 벤치마크 수치를 비교해 마진을 어림하는 예를 들며, 어떤 서비스의 빠른 모드도 대부분은 지연시간과 처리량의 트레이드오프에서 나오는 자연스러운 결과라고 설명한다.

주요 인사이트

• 추론 성능을 숫자 하나로 말하는 순간 대화가 어긋난다. 같은 칩도 곡선 위 어디에서 운영하느냐에 따라 사용자당 속도와 토큰당 비용이 완전히 달라지므로, 비교는 곡선 대 곡선이어야 한다.
• 벤치마크가 자주 갱신된다는 사실 자체가 결과다. 소프트웨어 릴리스 간격이 며칠 단위인 영역에서는 한 번 측정한 수치의 유통기한이 매우 짧다.
• 하드웨어 경쟁의 승부처가 실리콘에서 소프트웨어로 옮겨 갔다. AMD 사례는 좋은 칩이 있어도 커널과 통신 라이브러리가 준비되지 않으면 곡선의 절반을 그리지 못한다는 것을 보여 준다.
• 벤치마크 설계는 규칙 설계다. 어디까지가 정당한 튜닝이고 어디부터가 점수 올리기용 꼼수인지를 정하지 않으면, 벤더는 실제 사용자가 얻지 못할 수치를 향해 최적화하게 된다.
• 모델 구조의 변화와 서빙 인프라의 변화는 따로 볼 수 없다. 전문가가 희소해지고 어텐션이 가벼워지는 흐름이 곧 어떤 병렬화와 어떤 네트워크 토폴로지가 유리한지를 다시 정한다.

자주 묻는 질문

관련 AI 소식