AI 추론 시장 전망: GPU 공급 부족과 커스텀 모델 확산이 바꾸는 인프라 경쟁

핵심 메시지

• 추론은 'AGI가 오더라도 마지막까지 남는 시장'이라는 것이 이 대담의 핵심 주장이다.
• 이 회사에서 처리되는 토큰의 95% 이상이 고객이 자기 데이터로 손본 커스텀 모델이며, 오픈 가중치를 그대로 쓰는 곳은 사실상 없다.
• GPU 공급 부족은 알려진 것보다 심각해, 18개 클라우드와 90개 클러스터를 90%대 중반 가동률로 굴리는 상황이다.
• 애플리케이션 계층이 살아남는 이유는 그 회사만 모을 수 있는 사용자 신호와 그것이 녹아든 업무 흐름에 있다.
• 추론 비용이 내려가면 수요가 줄어드는 것이 아니라 에이전트가 더 오래, 더 많이 돌면서 사용량이 늘어난다.

쉽게 이해하기

AI 스타트업 팟캐스트 '노 프라이어스'의 진행자 세라 궈와 일라드 길이 AI 추론 클라우드 기업 베이스텐의 공동창업자 겸 CEO 투힌 스리바스타바를 초대해 나눈 대담이다. 회사는 1년 사이 30배 성장했고, 대화는 그 성장의 배경과 추론 시장의 구조를 짚는 데 집중한다. 그가 반복하는 표현이 '추론은 마지막 시장'이다.

성장의 배경으로 그는 두 가지를 든다. 오픈 소스 모델의 기본 성능이 어떤 문턱을 넘었다는 것, 그리고 강화학습 기반의 사후학습(post-training)이 특수 목적 모델을 만드는 흔한 방법이 됐다는 것이다. 그 결과 고객사들이 자기 지능을 직접 소유하려 하고, 다양한 롱테일 모델이 서비스에 올라온다. 실제로 이 회사에서 도는 토큰의 95% 이상이 품질이나 성능을 위해 손본 커스텀 모델이라고 그는 말한다.

'대형 연구소가 다 흡수하면 애플리케이션 회사는 살아남을 수 있는가'라는 질문에 그는 사용자 신호를 근거로 답한다. 어떤 회사의 가치가 모델 안에 들어 있다면 위험하지만, 업무 흐름 안에 들어 있다면 그것이 해자가 된다는 논리다. 예로 든 것이 병원에서 쓰이는 의료 기록 자동화 서비스로, 임상의가 기록을 어떻게 고치고 그다음에 무엇을 하는지는 그 회사만 볼 수 있고, 그 신호로 사후학습을 하면 특화 모델이 나온다는 것이다.

공급 문제에 대한 묘사는 특히 구체적이다. 여유 연산 자원이 거의 없어 자체 클러스터를 불편할 정도로 높은 가동률로 돌리고 있고, 회사는 매일 오후 4시에 수요 대비 용량을 어떻게 맞출지 논의하는 회의를 연다. 여러 클라우드를 하나의 실행 환경으로 묶어둔 덕에 새 공급처를 반나절 안에 붙일 수 있다는 것이 강점인데, 그는 데이터센터 운영 경험이 없는 공급자도 많아 실제로 믿을 만한 곳은 소수라고 덧붙인다.

중국산 오픈 모델을 둘러싼 우려에는 실무자다운 답이 돌아왔다. 모델을 네트워크로부터 격리해 두면 데이터가 마법처럼 경계를 넘지는 않으며, 아주 초기 모델 몇 건을 빼면 의도적인 편향의 증거를 본 적이 없다는 것이다. 다만 그는 미국이 자체 오픈 모델 생태계를 갖추는 일은 중요하고 필연적이라고 보며, 최전선 성능은 여전히 비공개 모델들이 앞서 있다는 점도 대화 중에 명시된다.

주요 인사이트

• GPU를 그냥 빌려주는 사업은 상품화되어 고객이 쉽게 옮겨가지만, 소프트웨어 계층까지 포함한 추론 서비스는 이탈이 거의 없다는 것이 그의 경험이다.
• 사후학습과 추론은 같은 문제의 양면이다. 모델을 어떻게 학습했는지가 추론 단계의 양자화 방식까지 결정하기 때문에, 추론 회사가 연구 역량을 갖추는 이유가 여기에 있다.
• 추론 건수 기준으로는 대부분이 AI 네이티브 애플리케이션 기업에서 나오고 일반 기업의 자체 도입은 이제 시작 단계여서, 시장의 대부분이 아직 열리지 않았다는 해석이 가능하다.
• 출시 4년 반이 지난 H100의 가격이 여전히 오르고 있고, 대량 GPU 계약은 3~5년 단위로 길어졌다. 용량 확보가 자본 조달 능력의 문제로 바뀌고 있다는 뜻이다.
• 사후학습을 먼저 하지 말라는 조언도 분명하다. 최고 성능 모델로 가치를 증명한 다음에야 더 빠르고 싸게 만드는 최적화로 넘어가라는 것이다.

자주 묻는 질문

관련 AI 소식