AI 스케일링 수익 체감과 소형 모델 전환, 한 엔지니어가 본 AI 시장 전망과 AGI 한계

핵심 메시지

• GPT 세대가 올라갈수록 학습에 들인 투자 대비 성능 향상 폭이 줄고 있으며, 이는 오픈AI만이 아니라 제미나이와 딥시크, 큐원, 라마도 공통으로 겪는 문제라고 진단했다.
• 지능 경쟁이 정체되면서 기업들의 관심은 비용 최적화로 옮겨갔고, 도메인 지식을 질의에 담아 소형 모델을 직접 학습시켜 쓰는 조직이 늘고 있다.
• 나사의 산불·빙하 예측과 넷플릭스 추천처럼 자사 데이터로 학습한 기업 전용 모델이 늘어나는 이유는 비용, 통제권, 데이터 품질 세 가지다.
• 발표자는 대형 언어 모델이 환각, 스스로 목표를 세우지 못하는 점, 내부 논리의 부재라는 세 한계 때문에 AGI로 가지 못한다고 봤다.
• 코드 경진 대회 벤치마크에서 최상위 백분위 성적을 주장하는 발표들에 대해, 실제로 써 본 경험과 어긋난다며 정면으로 문제를 제기했다.

쉽게 이해하기

인도의 소프트웨어 엔지니어이자 교육자인 가우라브 센이 2025년 8월 공개한 이 영상은 평소의 논문 분석과 달리 AI 시장 전망을 다룬다. 그는 예측이 위험한 주제임을 인정하면서도 가능한 한 기존 연구에 근거해 이야기하겠다고 전제한다. 현재의 흐름, 시장을 움직이는 힘, 그로부터 도출되는 예측 순으로 논지가 이어진다.

첫 번째 흐름은 스케일링의 한계다. 그는 GPT-3.5에서 GPT-4로, 다시 그 이후 세대로 넘어갈 때 투자 대비 성능 향상이 계속 줄었다고 본다. 모델이 똑똑해지지 않는다는 뜻이 아니라 기대만큼 똑똑해지지 않는다는 뜻이며, 데이터를 더 넣고 더 오래 학습시켜 신경망을 키우는 방식의 수지가 맞지 않게 됐다는 진단이다. 두 번째 흐름은 비용이다. 기업들이 모델 사용에 익숙해지면서 도메인 지식을 질의에 담아 소형 모델로도 괜찮은 성능을 내기 시작했고, 그 결과 모델 제공사들은 지능 대신 가격으로 경쟁해야 하는 압박을 받는다.

세 번째 흐름은 기업 전용 모델이다. 나사는 산불과 빙하 이동, 홍수를 감지하고 예측하는 모델을 갖고 있고, 넷플릭스는 자체 추천 엔진을 운영하며, 인도의 배달 플랫폼 스위기는 이용자가 어떤 식당에서 무엇을 시킬지 파악하는 모델을 쓴다. 범용 지능 모델에 질의를 던지는 대신 자사 데이터로 파운데이션 모델을 직접 만드는 쪽이 비용이 낮고 통제권이 확실하며 데이터 품질도 높다는 것이 이유로 제시된다.

시장의 힘을 볼 때 그는 과열됐던 기대가 절반 수준으로 식었다고 평가한다. 2022년 챗GPT 등장 당시의 열기를 100으로 놓으면 지금은 50 정도라는 것이다. 기업들이 1년 반 남짓 직접 써 보면서 지식 격차가 줄었고, 도메인 정보를 줘도 환각이 남고 스스로 목표를 세우지 못하며 문제를 재귀적으로 쪼개 설명하지 못한다는 한계를 확인했기 때문이다. 그는 사람은 A에서 B로 가는 길을 A1과 A2, A3로 나눠 설명할 수 있지만 모델은 그러지 못하고 왜 B로 가는지조차 설명하지 못한다고 지적한다.

예측은 세 가지다. 우선 엔지니어 채용이 늘어난다. 새로운 모델이 나오지 않고 기존 기술의 한계가 드러난 만큼 기업들이 어느 부분을 사람이 메워야 하는지 알게 됐다는 논리다. 다음으로 연구 쪽에서 새로운 구조를 밀어붙일 것으로 봤고, 얀 르쿤이 제안한 JEPA를 적은 데이터로도 학습하면서 세계 모델을 만들고 갱신하는 유망한 후보로 꼽았다. 다만 아직 개념 증명 단계이며 대형 언어 모델의 성능에는 못 미친다고 덧붙였다. 마지막은 과장 광고에 대한 역풍이다.

주요 인사이트

• 그는 AI 산업을 데이터 생산에서 모델 학습, 모델 서빙, 응용 개발로 이어지는 파이프라인으로 그린다. 이 흐름을 계속 돌리려면 데이터와 새로운 처리 기법이 필요한데 연구는 연구 나름의 속도가 있어 현실에 오기까지 시간이 걸린다. 결국 당길 수 있는 레버가 스케일링뿐이어서 수익 체감 문제로 되돌아온다는 구성이다.
• 오픈AI 내부에서도 회의가 있었다는 일화가 전해진다. 샘 올트먼이 앞으로 나올 GPT 후속 세대에서 AGI에 도달하겠느냐고 묻자, 개발을 이끌었던 담당자가 그렇게 생각하지 않는다고 답했다는 것이다.
• 그는 마케팅의 어조가 바뀔 것으로 봤다. 마법처럼 보이는 시연 대신 비용 절감, 기존 시스템에 붙이기 쉬운 정도, 도메인 지식을 넣어 성능을 끌어올리는 방법을 이야기하는 쪽으로 옮겨간다는 예상이다. 기업들이 성숙해질수록 겉모습보다 '이 모델이 우리 회사에 실제로 무엇을 해 주는가'를 본다는 것이다.
• 벤치마크에 대한 불신을 숨기지 않는다. 프로그래밍 경진 대회에서 99.8 백분위 성적을 주장하는 논문이 있지만 자신이 o1이나 o3-mini를 대회에 써 봤을 때 성적은 형편없었다며, 여러 모델을 병렬로 돌려 가장 나은 제출만 고르는 식일 수 있다고 의심한다.
• 마지막으로 그는 업계 지도자들이 모델의 한계를 누구보다 잘 알면서도 '인류가 곧 대체된다'는 식의 담론을 방치했다고 비판하고, 능력을 신중하게 표현한 연구자로 얀 르쿤과 제프리 힌턴을 꼽았다.

자주 묻는 질문

관련 AI 소식