2026 AI·데이터 트렌드: 에이전틱 AI 거품, 엔터프라이즈 활용, AI 팩토리

핵심 메시지

• 에이전틱 AI는 여전히 화두지만 실수·환각·프롬프트 인젝션 취약성 때문에 과열이 가라앉고, 광범위한 도입까지는 약 5년이 걸릴 전망이다.
• AI 거품은 어느 정도 꺼질 것이며, 그 핵심 이유는 기업들이 투자에 걸맞은 '측정 가능한 가치'를 아직 얻지 못했기 때문이다.
• 생성형 AI를 개인 생산성 도구로 흩뿌리면 '여기서 1분, 저기서 1분' 수준에 그치지만, 워크플로 전체를 다루는 엔터프라이즈 방식은 측정 가능한 가치를 만든다.
• 데이터·AI 리더십은 제도로 자리잡아 최고데이터책임자(CDO)를 둔 기업이 90%에 이르렀지만, 이 역할이 어디에 보고하느냐 하는 조직 구조 문제는 여전히 제각각이다.
• 조직 내부 역량으로서의 'AI 팩토리'(도구·재사용 데이터·맞춤 모델·방법론·거버넌스)가 확산되며, 이는 GPU를 채운 데이터센터와는 다른 개념이다.

쉽게 이해하기

MIT 슬론 매니지먼트 리뷰의 데이터 전문가 톰 대븐포트와 랜디 빈이 2026년 AI·데이터 분야 5대 전망을 내놨다. 두 사람은 2025년 에이전틱 AI의 과열을 정확히 짚었던 이력을 바탕으로, 올해는 거품이 어느 정도 진정되고 똑똑한 기업들이 앞서 나가는 해가 될 것이라고 본다.

첫 번째 전망은 에이전틱 AI다. 지난해 가장 큰 화두였지만 기대만큼 빠르게 자리잡지 못했다. 매장 운영이나 일상적 거래 실험에서 실수가 잦았고, 생성형 AI를 쓰는 만큼 환각이 있으며, 프롬프트 인젝션 등으로 해킹당하기도 쉬웠다. 그래서 많은 조직이 사람이 검토하는 'human in the loop'를 유지하며 보수적으로 도입했고, 이 흐름이 올해도 이어진다. 다만 두 사람은 5년 내 광범위한 도입을 예상한다.

두 번째는 AI 거품의 진정과 그에 따른 경기 부담이다. 인터넷 거품의 흥망을 겪어 본 두 사람은 부풀려진 기대가 조정될 것으로 본다. 포춘 1000대 기업의 90%는 빠르게 움직이는 신생 기업과 경쟁할 필요가 없는 레거시 기업이라 변화가 느리다. 이들은 '기술은 단기에 과대평가되고 장기에는 과소평가된다'는 아마라의 법칙처럼, 3년·5년·10년의 긴 안목으로 접근해야 한다.

거품이 꺼지는 핵심 이유는 측정 가능한 가치 부족이다. 대다수 조직이 생성형 AI를 개인 단위로 흩뿌려 '블로그 글에 써 봐라, 이메일을 빨리 써라' 식으로 도입한 탓에 '여기서 1분, 저기서 1분' 수준의 효과만 났다. 반면 신제품 개발이나 고객 관계처럼 조직 전체의 워크플로를 다루는 엔터프라이즈 활용은 더 어렵고 오래 걸리지만 측정 가능한 가치를 낸다. 존슨앤드존슨은 개인용 사례 900개에서 별 가치를 못 얻자, 전략적인 엔터프라이즈 사례 9개에 집중했다.

네 번째는 데이터·AI 관리의 제도화다. 최고데이터책임자(CDO)를 둔 기업은 2012년 12%에서 2025년 90%로 늘었고, 이 역할이 성공적이라는 응답도 2023년 35%에서 올해 70%로 두 배가 됐다. 93%는 AI 덕분에 데이터 투자 우선순위가 높아졌다고 답했고, 38%는 CDO와 별도로 최고AI책임자(CAIO)를 임명했다. 다만 이 역할이 사업·기술·혁신 부문 중 어디에 보고하는지는 여전히 제각각이어서, 두 사람은 사업 부문에 보고하는 통합 직책을 제안한다. JP모건에서는 해당 책임자가 제이미 다이먼 직속 14인 운영위원회에 속해 있다.

다섯 번째는 'AI 팩토리'의 확산이다. 이는 건물이나 단순 기술 플랫폼이 아니라, 조직이 익숙한 도구·재사용 가능한 데이터·맞춤형 언어 모델·개발 방법론과 윤리·거버넌스까지 묶은 내부 역량이다. JP모건 체이스와 스페인 BBVA가 일찍 도입했고, 최근에는 P&G가 사례 개발·배포 시간을 크게 줄였으며 인튜이트는 전사 생성형 AI 운영체제 'GenOS'를 갖췄다. 두 사람은 AI 팩토리가 사용 사례를 실제 운영에 올려 경제적 가치를 만드는 문제를 푸는 데 도움이 된다고 본다. 단, 이는 GPU를 채운 데이터센터와는 분명히 다른 개념이다.

주요 인사이트

• 에이전틱 AI의 가장 큰 걸림돌은 기술이 아니라 신뢰다. 실수·환각·프롬프트 인젝션 취약성 탓에 '사람을 빼는' 생산성 이점이 오히려 제한되고 있다.
• AI 투자가 가치로 이어지지 않는 핵심 원인은 '개인 생산성 도구'식 접근이다. 분 단위 절감은 합산·정량화가 어렵고, 워크플로 전체를 재설계하는 엔터프라이즈 접근만이 측정 가능한 가치를 만든다.
• 존슨앤드존슨의 '900개 개인 사례 → 9개 전략 사례' 전환은, 사례 수가 아니라 전략적 집중이 가치를 만든다는 점을 보여주는 구체적 사례다.
• CDO 보급률 90%, 역할 성공률 70%라는 수치는 데이터·AI 리더십이 일시적 유행이 아니라 제도로 정착했음을 뜻한다. 남은 과제는 '어디에 보고하느냐'는 조직 구조다.
• AI 팩토리는 'GPU 데이터센터'와 혼동하기 쉽지만, 핵심은 하드웨어가 아니라 도구·데이터·방법론·거버넌스를 묶어 사용 사례를 실제 운영으로 올리는 조직 역량이다.

자주 묻는 질문

관련 AI 소식