기업 AI 투자 93대 7의 함정: 딜로이트 CTO가 짚은 도입 실패 원인과 에이전트 거버넌스

핵심 메시지

• 기업 AI 지출의 93%가 기술과 도구에 쓰이고, 문화·변화관리·학습에는 7%만 배분된다는 것이 17년째 이어온 기술 동향 조사의 결론이다.
• 비효율적이거나 지나치게 복잡한 업무 프로세스에 AI를 그대로 얹으면 비효율을 오히려 증폭시키게 된다.
• AI에 대한 신뢰도는 경영진에서 70%지만 최일선 직원으로 갈수록 급격히 떨어져 6.7%까지 내려간다.
• 토큰 단가는 내려가지만 사용량이 늘면 총비용이 폭증하므로, 임계값·모니터링 같은 운영 통제가 없으면 청구서가 갑자기 뛴다.
• 에이전트가 늘어나면서 채용·권한 부여·성과 관리에 해당하는 관리 체계를 사람 조직에서 배워 와야 한다는 논의가 시작됐다.

쉽게 이해하기

딜로이트의 최고기술책임자 빌 브릭스는 기업들이 'AI 투자 함정'에 빠져 있다고 말합니다. 17년째 발간해 온 기술 동향 보고서에서 가장 눈에 띄는 수치는 전체 AI 지출의 93%가 기술과 도구로 가고, 나머지 7%만이 문화, 변화 관리, 학습, 비전 공유, 일하는 방식의 재설계에 쓰인다는 것입니다. 그는 파일럿이 규모 있는 성과로 이어지지 못하고 개념 검증에서 멈추는 헤드라인이 반복되는 이유가 바로 이 불균형과 직결된다고 봅니다.

기술이 엔진인데 왜 기술에 93%를 쓰면 안 되느냐는 반문에 그는 두 가지로 답합니다. 하나는 기술 예산 안에서도 데이터 준비와 핵심 시스템 현대화 같은 기반 요소가 아니라 새로운 것에 지나치게 쏠려 있다는 점입니다. 다른 하나는, 지금까지는 기술이 업무에 다소 부자연스럽게 강제되면서 업무 프로세스가 기술의 작동 방식을 따라 진화해 왔다는 점입니다. 그래서 비효율적인 프로세스에 AI를 그대로 얹으면 비효율을 무기화하는 결과가 된다고 경고합니다.

그는 지금이 과거의 전사 시스템 도입보다 오히려 더 어려운 국면이라고 말합니다. 예전에는 기존 단계를 그대로 두고 기술로 더 잘하게 만드는 청사진이 있었지만, 이제는 당연하다고 여겼던 단계 자체를 지워도 되는지 묻는 일부터 시작해야 하기 때문입니다. 규제가 요구하는 절차는 당연히 지켜야 하지만, 늘 해오던 방식이라는 이유만으로 열 단계를 모두 유지할 필요는 없다는 것입니다.

가장 인상적인 수치는 신뢰도 조사입니다. AI에 대한 신뢰는 경영진에서 70%였지만 조직도를 한 계단씩 내려갈 때마다 뚝뚝 떨어져 최일선 신입 직원에서는 6.7%였습니다. 브릭스는 업무가 실제로 벌어지는 현장에 있는 사람이 무엇이 비효율적인지 가장 잘 안다고 보기 때문에, 이 구조를 완전히 거꾸로 된 상태라고 표현합니다. 일자리가 사라진다는 헤드라인 앞에서 신입 직원이 두려움과 불신을 갖는 것은 당연하지만, 그 상태로는 어떤 기업도 투자에서 실질적 가치를 얻기 어렵다는 것입니다.

비용 문제도 구체적입니다. 모델 단가는 성능 대비로 계속 내려가지만, 쓸모 있는 사례를 찾아 사용량이 운영 속도에 맞춰 늘기 시작하면 총소유비용이 전략적 쟁점으로 떠오릅니다. 그는 성숙한 조직들이 개발자별 개별 키를 발급하고 임계값과 통제 지점을 두어 사용 행태를 모델링한다고 소개하며, 한 달에 100달러이던 청구서가 다음 달 50만 달러가 되는 일을 그렇게 막는다고 설명합니다. 속도 때문에 클라우드로 시작했더라도, 특정 용도가 자리를 잡으면 전용 하드웨어를 직접 운영할 시점을 판단해야 한다는 조언도 덧붙입니다.

주요 인사이트

• '에이전트 수만 대 도입' 같은 발표를 그는 성과 연극이라고 부릅니다. 성과가 실재한다면 신약 연구 기간 단축이나 재고 부족 감소처럼 사업 지표가 헤드라인이 됐을 것이라는 게 이유입니다. 사용 사례 개수나 에이전트 개수를 기준으로 삼는 순간 그 자체가 신호가 됩니다.
• 그는 에이전트 거버넌스를 100년 넘게 다듬어 온 인사 관리 주기에 빗대어 봅니다. 채용과 자격 검증, 계정과 접근 권한 부여, 보고 체계와 기대치 설정까지는 익숙한 문제이고, 어려운 것은 성과 관리입니다. 에이전트가 실수했을 때 그것이 장애 티켓인지, 학습 데이터 문제인지, 가드레일과 테스트 설계의 문제인지 구분하는 틀이 아직 없습니다.
• 실제로 인사 조직과 기술 조직을 합쳐 디지털 인재 총괄 임원을 둔 고객사도 등장했습니다. 사람 인력과 기술의 경계가 흐려지면서, 실리콘과 탄소 기반 구성원 모두에게 통하는 문화와 행동 규범을 어떻게 만들 것인가라는 질문이 조직 설계 문제로 넘어온 셈입니다.
• 차세대 CIO를 모아 여는 아카데미에서 가장 효과가 큰 세션은 멀티에이전트 시스템도, 인프라도 아닌 스토리텔링이라고 그는 말합니다. 비전을 구조화해 전달하고 사람을 움직이는 능력이 기술 리더의 핵심 역량이 됐다는 뜻입니다.
• 그는 도구는 재료일 뿐 레시피가 아니라고 정리합니다. 에이전트 몇 개를 도입했는지가 아니라 실제로 의미 있는 지표가 어떻게 움직였는지를 말할 수 있어야 한다는 것이 대담 전체를 관통하는 기준입니다.

자주 묻는 질문

관련 AI 소식