AI 추론 비용 급락과 ‘GPU 경제’ — 스탠퍼드 강연이 짚은 토큰 경제학

핵심 메시지

• 소프트웨어는 배포의 한계비용이 거의 0에 가까웠지만, AI는 사용자가 늘수록 더 많은 연산을 필요로 해 비용이 함께 커진다.
• AI의 최소 단위는 ‘토큰’이며, 토큰 하나를 만드는 데 드는 연산은 대략 모델 파라미터 크기 × 문맥 길이의 제곱에 비례할 만큼 막대하다.
• 추론(inference) 단가는 지난 1년 새 약 90%, 2~2.5년 새 약 99% 떨어졌지만, 모델이 커지고 수요가 폭증해 전체 연산 부담은 오히려 늘고 있다.
• 세상의 진짜 제약은 전력과 메모리이며, 같은 전력·건물로 더 많은 토큰을 뽑아내는 것이 곧 막대한 경제적 이득으로 이어진다.
• AI는 ‘답을 주는’ 단계에서 ‘행동하는’ 에이전트 단계로 넘어가며 토큰 소비가 급증하지만, 그만큼 단위 지능당 가치와 지불 의사도 함께 뛴다.

쉽게 이해하기

이 강연은 ‘소프트웨어가 세상을 먹어치웠다’던 시대와 AI 시대의 결정적 차이에서 출발한다. 소프트웨어는 한 번 만들면 사용자를 아무리 늘려도 배포 비용이 거의 들지 않았다. 반면 AI는 사용자가 늘수록 더 많은 연산을 소모하기 때문에 ‘공짜에 가까운 확장’이 성립하지 않는다. 강연은 이 비용 구조를 이해하는 것이 AI 경제 전체를 이해하는 열쇠라고 본다.

핵심 개념은 ‘토큰’이다. 지능의 최소 단위인 토큰 하나를 생성하는 데 드는 연산량은 대략 모델의 파라미터 수와 문맥 길이의 제곱에 비례한다. 데이터베이스에서 레코드 하나를 꺼내오는 연산과 비교하면 자릿수가 다르게 크다는 것이다. 그래서 AI는 이전의 어떤 컴퓨팅 패러다임보다 연산 집약적이며, 이 점이 ‘연산 폭발’의 근본 원인으로 지목된다.

강연에 등장한 추론 칩 기업은 구글 TPU를 설계했던 조너선 로스가 창업한 곳으로, 결정론적 데이터플로 구조와 컴파일러가 연산 위치를 미리 확정하는 방식, 그리고 느린 외부 메모리(HBM) 대신 매우 빠른 SRAM을 대량으로 쓰는 설계가 특징으로 소개됐다. 이들은 하드웨어를 직접 팔기보다 클라우드에 올려 API로 제공하는 전략으로 빠르게 사용자를 늘렸다고 설명한다. 또한 추론을 ‘프리필’과 ‘디코드’로 나누고, 디코드 안에서도 연산 집약적인 부분과 메모리 대역폭 집약적인 부분을 다시 분리하면 효율을 크게 끌어올릴 수 있다는 점을 강조했다.

경제 논리도 명쾌하다. 오픈AI와 앤트로픽 같은 기업은 초기에 원가보다 싸게 파는 큰 적자 마진으로 시작했지만, 추론 비용이 급락하고 지능이 더 유용해지면서 지불 의사가 오를 것이라는 데 베팅했다. 실제로 AI가 자동완성 수준의 ‘답’에서 앱을 만들고 고객 문제를 처리하는 ‘행동’ 단계로 옮겨가자, 소비하는 토큰은 한 자릿수 이상 폭증했지만 전달되는 가치는 100배로 뛰어 지불 의사가 크게 올랐다는 것이다.

이른바 ‘AI 버블’ 논쟁에 대해서도 강연은 앤트로픽의 매출 곡선을 근거로 든다. 특정 몇 달 사이 월 매출이 급격히 계단식으로 뛴 사례를 들며, 매출이 지능의 지수 곡선과 같은 속도로 늘고 있어 막대한 추론 인프라 투자를 감당할 수 있게 됐다고 본다. 마지막으로 일자리·사회 변화 질문에는 ‘스스로를 AI로 무장하라’, IQ는 흔해지고 EQ(네트워크·설득·리더십)가 더 귀해진다는 관점을 제시했다.

주요 인사이트

• AI 경제를 볼 때는 ‘칩이 빠르다’보다 ‘같은 전력·건물에서 토큰을 몇 배 더 뽑느냐’가 핵심 지표다. 전력과 메모리가 병목인 세계에서는 동일 설비당 토큰 산출량이 곧 이익으로 직결된다.
• 추론을 프리필/디코드로, 다시 디코드를 연산형·메모리대역폭형으로 잘게 나누는 ‘분해(disaggregation)’가 효율의 핵심 기법으로 부상했다. 서로 다른 아키텍처의 칩을 고속 인터커넥트로 묶어 각자 잘하는 부분을 맡기면 같은 전력으로 더 많은 토큰이 나온다고 강연은 설명한다.
• 추론 단가는 계속 내려가지만 모델 파라미터가 조 단위로 커지고 수요가 폭증해, 단가·모델 크기·수요라는 세 축이 동시에 커지는 ‘풀기 어려운 큐브’ 상황이다. 그래서 GPU 수요와 가격이 오히려 오르는 역설이 나타난다.
• 코딩이 AI에서 신뢰를 가장 먼저 얻은 이유는 ‘검증 가능성’ 때문이다. 실행·테스트로 정답을 확인할 수 있는 영역부터 자동화가 안착한다는 통찰은 다른 지식 노동 자동화의 순서를 예측하게 한다.
• 지능이 흔해질수록 인간의 상대적 가치는 EQ로 옮겨간다는 관점 — 네트워크, 설득력, 팀을 꾸리고 이끄는 능력이 ‘가장 똑똑한 한 사람’보다 귀해진다는 주장은 AI 시대 커리어 전략에 시사점을 준다.

자주 묻는 질문

관련 AI 소식