MIT 기업 AI 95% 실패 통계의 진실 - 나스닥까지 흔든 보고서를 원문과 대조해 검증하다

핵심 메시지

• '기업 생성형 AI 파일럿의 95%가 실패한다'는 보고서는 실제로 그런 내용을 담고 있지 않았다.
• 조사 대상 기업의 60%가 도입을 검토했고 20%만 실제 파일럿까지 갔으며, 전체의 5%가 운영 단계 배포에 성공했다. 파일럿을 한 20% 기준으로 보면 성공률은 약 25%다.
• 보고서의 '성공' 기준은 6개월 안에 뚜렷하고 지속적인 생산성·손익 개선을 입증하는 것으로, 신규 프로젝트에 매우 가혹한 잣대였다.
• 포춘 기사가 표본을 150건 인터뷰·350명 설문으로 소개했지만 실제로는 인터뷰 52건, 설문 153건이었다.
• 저자 네 명은 모두 에이전트 프레임워크를 개발하거나 파는 쪽이었고, 보고서는 해결책으로 자신들이 참여한 프로젝트를 지목했다.

쉽게 이해하기

80,000 Hours의 롭 위블린은 지난해 8월 기술 뉴스를 봤다면 '기업 생성형 AI 파일럿의 95%가 실패한다'는 MIT 연구 이야기를 들었을 것이라고 말한다. 이 숫자는 나스닥 하락에 일조할 만큼 파급력이 컸고 포브스, 액시오스, 더 힐, 하버드 비즈니스 리뷰를 비롯한 수십 개 매체가 받아썼다. 'AI는 거품'이라는 주장의 대표 근거가 됐다.

문제는 보고서가 그런 내용을 말한 적이 없다는 점이다. 조사 결과를 다시 보면 응답 조직의 60%가 맞춤형 기업용 AI 도구를 검토했고, 20%가 실제 파일럿까지 진행했으며, 전체의 5%가 운영 환경 배포에 성공했다. 즉 80%는 애초에 파일럿조차 하지 않았다. 위블린은 이를 두고 '틴더 사용자의 95%가 결혼에 실패했다'고 말하는 것과 같다고 비유한다. 그중 80%는 데이트조차 해본 적이 없기 때문이다. 게다가 파일럿이 배포로 넘어가지 못한 주된 이유도 성과 부진이 아니라 '새 도구 도입에 대한 조직의 저항'이라는 흔한 항목이었다.

파일럿을 실제로 진행한 20% 안에서는 약 4분의 1이 성공했다. 이는 보도된 수치보다 다섯 배 높다. 더구나 이 연구가 '성공'으로 인정한 기준은 6개월 안에 뚜렷하고 지속적인 생산성 또는 손익 개선을 보이는 것이었다. 손익분기점만 맞춘 프로젝트도, 아직 수치로 드러나지 않은 개선도, 내년에 흑자가 예상되는 프로젝트도 모두 실패로 분류된다. 기업용 기술 도입이 손익에 반영되기까지 몇 년이 걸리는 게 보통이라는 점을 감안하면 상당히 높은 문턱이다. 게다가 이 프로젝트들은 2024년 모델로 돌아가고 있었다.

더 이상한 지점은 지금까지의 숫자가 전부 특정 업무용으로 따로 만든 맞춤형 AI에만 해당한다는 것이다. 대부분의 사람은 챗GPT나 클로드, 제미나이를 그냥 써서 일을 더 빨리 끝낸다. 보고서 자체도 조사 기업의 90% 이상에서 직원들이 업무에 생성형 AI를 정기적으로, 많은 경우 하루에도 여러 번 쓴다고 적었다. 그런데도 보고서는 이런 사용이 '개인 생산성을 높일 뿐 손익에는 영향을 주지 않는다'며 시큰둥하게 넘어갔다.

표본 문제도 크다. 이 연구를 세상에 알린 포춘 기사는 리더 150명 인터뷰와 직원 350명 설문이라고 소개했지만, 논문 자체는 인터뷰 52건과 종이 설문 153건에 기반한다고 밝히고 있다. 성공 사례 5%라는 수치는 52건 인터뷰에서 두세 곳 정도에 해당할 가능성이 크다. 한두 건만 뒤집혀도 헤드라인이 완전히 달라지는 규모다. 그런데도 이 보고서는 동료 심사를 거치지 않았고, 기사가 퍼질 당시에는 원문조차 공개되지 않아 개인정보를 적어 넣는 구글 폼으로만 PDF를 요청할 수 있었다.

위블린은 이 보고서가 그토록 널리 인용된 이유로 'MIT'라는 이름표를 꼽는다. 사람들은 MIT 경영대학원의 동료 심사 논문을 떠올렸지만 실제 저자는 MIT 교수와 박사후연구원, 마이크로소프트의 AI 에이전트 담당 제품 관리자, 에이전트 시스템을 상업화하는 창업자였다. 보고서는 AI 도구가 기업에서 자리 잡지 못하는 이유로 학습·기억·맥락 적응 능력의 부재를 들고, 해결책으로 에이전트 프레임워크와 저자들이 모두 관여한 NANDA 프로젝트를 지목했다. 이해관계 고지는 없었다.

주요 인사이트

• 숫자 자체보다 그 숫자가 무엇을 세었는지가 중요하다. 분모를 '조사 대상 전체'로 잡느냐 '실제로 파일럿을 돌린 곳'으로 잡느냐에 따라 실패율 95%가 성공률 25%로 뒤집힌다.
• '성공'의 정의를 확인하지 않으면 결론을 읽을 수 없다. 6개월 안에 뚜렷한 손익 개선이라는 기준은 대부분의 신규 사업을 실패로 만들어 버린다.
• 맞춤형 사내 AI의 부진과 일상적인 챗봇 활용은 전혀 다른 이야기다. 같은 보고서 안에 90% 이상이 매일 AI를 쓴다는 조사 결과가 함께 들어 있었다.
• 저자들이 팔고 있는 해법을 보고서의 결론으로 지목했는데 이해관계 고지가 없었다는 점은, 연구 결과를 읽을 때 저자 소속과 이해관계를 먼저 확인해야 하는 이유를 보여준다.
• 원문이 공개되기도 전에 요약 기사만으로 시장이 움직였다는 사실이 더 큰 문제다. 위블린의 표현대로 이 사건의 교훈은 AI에 관한 것이 아니라 정보가 유통되는 방식에 관한 것이다.

자주 묻는 질문

관련 AI 소식