LLM 추론 속도와 비용 구조: 세레브라스 칩과 OpenAI의 GPT-5.6 Sol 서빙 전략

핵심 메시지

• 대부분의 플래그십 LLM은 현재 초당 40~60토큰 안팎으로 서빙되며, 벤치마크와 사용자 선호 모두 속도보다 지능을 앞세워 왔다.
• 속도를 초당 수백 토큰대로 끌어올리려면 세레브라스·그록 같은 전용 칩이 필요한데, 이런 시스템은 일반 GPU 구성보다 20~50배 비쌀 수 있다.
• 과거에는 빠른 구간에 작고 덜 똑똑한 모델을 배치했지만, OpenAI는 가장 큰 모델을 느린 구간과 빠른 구간 양쪽에서 동시에 제공하며 기존 가정을 뒤집었다.
• 속도를 높이면 토큰 소모가 빨라져 사용자를 상위 유료 요금제로 유도하는 수익 지렛대가 되며, 이것이 막대한 설비 투자를 정당화하는 핵심 논리다.
• 한편 토큰 효율이 좋아지는 흐름은 속도 중심 수익 모델과 정반대로 작용해 계산을 다시 복잡하게 만든다.

쉽게 이해하기

영상은 샘 올트먼이 안드레이 카파시에게 'LLM을 더 똑똑하게 만들 것인가, 더 빠르게 만들 것인가'를 물었을 때 카파시가 '지능'을 택했다는 일화로 시작한다. 실제로 대부분의 사용자와 벤치마크는 속도보다 모델의 지능을 먼저 본다. 발표자는 여기서 한 걸음 더 들어가, 그렇다면 LLM은 대체 얼마나 빨라야 하는가라는 질문을 던진다.

OpenRouter 기준으로 주요 플래그십 모델은 대체로 초당 40~60토큰 수준에서 서빙된다(영상은 Opus 4.8 약 60, Fable 5 약 40, GPT-5.6 Sol 약 40토큰을 예로 든다). 이를 초당 750토큰 같은 훨씬 높은 구간으로 올리지 못하는 이유는 비용이다. 오른쪽 고속 구간으로 갈수록 이를 대규모로 구현하는 설비 투자가 급증하는데, 그 핵심은 칩 값이다. 엔비디아·AMD 같은 범용 GPU와 그록·세레브라스 같은 전용 칩 사이에는 하드웨어 장벽이 있고, 세레브라스 시스템은 일반 GPU 구성보다 20~50배까지 비쌀 수 있다.

흥미로운 점은 OpenAI가 GPT-5.6 Sol을 범용 GPU에서 초당 40~50토큰으로도, 세레브라스 칩을 통해 초당 750토큰으로도 함께 제공한다는 것이다. 과거에는 초고속 구간의 수요가 말라붙곤 했다. 기업들이 그 자리에 작고 값싼(그래서 덜 똑똑한) 모델을 밀어넣었기 때문이다. 영상은 2월에 공개돼 초당 1,000토큰 이상을 냈지만 '빠르지만 멍청하다'는 평을 들은 GPT-5.3 Codex Spark를 그 사례로 든다. 사용자 다수는 20배 빠르지만 덜 똑똑한 모델보다, 초당 50토큰이라도 더 똑똑한 모델을 선호해 왔다.

그렇다면 왜 OpenAI는 가장 크고 똑똑한 모델을 굳이 고속 구간에도 올렸을까. 발표자는 엔비디아가 공개한 처리량(throughput) 대 응답성(responsiveness) 도표를 빌려 설명한다. 예컨대 B300 칩으로 초당 340토큰을 항상 보장하려면 1메가와트 데이터센터 수준에서 초당 약 45만 토큰의 처리량이 나오고, 이는 동시 접속 사용자 약 1,324명에게 각각 초당 340토큰을 약속할 수 있다는 뜻이다. 반면 세레브라스 칩으로 같은 초당 45만 토큰을 초당 750토큰 속도로 나누면 동시 사용자는 약 600명으로 절반 이하가 되지만, 접속한 사용자는 두 배 이상 빠른 속도를 경험한다. 2조 매개변수 모델(영상의 보수적 추정치)을 얹는 데 드는 칩만 봐도 엔비디아 B300 14개 대 세레브라스 WSE-3 90개로 비용 차이가 크다.

핵심은 사업 논리다. 속도가 빨라지면 같은 작업이라도 토큰 소모(usage)가 더 빨리 줄어든다. 실제로 Codex는 1.5배 속도 옵션을 켜면 그만큼 사용량을 더 소모한다고 명시한다. 사용량을 빨리 소진시키면 무료·저가 사용자를 월 200달러 프로 요금제로 전환하도록 압박할 수 있다. 게다가 이 경우 OpenAI의 설비 투자는 세레브라스 칩을 직접 산 것이 아니라, 2028년까지 750메가와트 규모의 컴퓨팅을 빌리는 100억 달러 규모 계약 형태다. 발표자는 대략적인 계산으로, 30개월간 프로 회원 1인당 약 6,000달러라면 이 계약을 정당화하려면 약 160만 명(월 활성 10억 명의 약 0.16%)을 프로로 전환하면 된다고 본다. 다만 그록 4.5처럼 같은 일을 더 적은 토큰으로 처리하는 '토큰 효율' 흐름은 속도 중심 수익 모델과 정반대로 작용해, 이 방정식을 다시 뒤집는 변수라고 짚는다.

주요 인사이트

• LLM 서빙에서 '속도'는 단순한 사용자 편의가 아니라, 어떤 칩에 얼마를 투자하느냐로 결정되는 비용 문제다. 고속 구간은 곧 고비용 구간이다.
• 같은 처리량이라도 1인당 속도를 높이면 동시 수용 인원이 줄어든다. 속도와 동시 사용자 수는 맞바꿔야 하는(trade-off) 관계다.
• 속도를 올려 토큰 소모를 앞당기는 것은 사용자를 상위 요금제로 유도하는 수익 설계와 맞물린다. 빠른 응답은 서비스이자 과금 지렛대다.
• 전용 칩 확보를 '구매' 대신 장기 '임대(컴퓨팅 계약)'로 접근하면, 하드웨어 취득 비용 대신 정해진 기간 안에 회수해야 할 목표로 문제가 바뀐다.
• 토큰 효율 개선은 속도 중심 과금과 반대 방향으로 작동하므로, 프런티어 랩들의 수익 구조는 속도·지능·비용효율이 얽힌 다차원 게임이 된다.

자주 묻는 질문

관련 AI 소식