기업 AI 파일럿이 실패하는 이유 — 80%는 사람 문제, 비용은 작업당으로 봐야 한다

핵심 메시지

• '파일럿'이라 이름 붙이는 순간 예산은 작아지고 목표는 안전해져, 정작 얻어야 할 학습도 줄어든다.
• 기업 AI 도입은 대략 20%가 기술 문제이고 80%는 사람 문제다.
• 비용은 토큰당이 아니라 '완료된 작업 하나당 비용'으로 봐야 실제 의사결정에 쓸 수 있다.
• 컨텍스트·메모리·재사용 절차·검토 게이트로 이뤄진 하네스가 그 기업만의 지식과 경쟁우위를 담는 자산이 된다.
• 감원이 목적이라는 신호가 비치면 현장 팀은 머릿속 지식을 내놓지 않는 방식으로 조용히 저항한다.

쉽게 이해하기

CXOTalk 진행자 마이클 크릭스먼과 포춘 500대 기업·글로벌 은행을 자문하는 AI 애널리스트 네이트 B. 존스의 대담이다. 존스의 출발점은 도발적이다. AI 파일럿이 실패하는 이유는 모델이 부족해서가 아니라 그것을 '파일럿'이라고 불렀기 때문이라는 것이다. 대부분의 소프트웨어 도입에서는 위험을 줄이려고 파일럿을 하지만, AI는 조직 전체의 전환에 관한 문제여서 작은 실험 공간에 가둬둘 수 없다고 그는 말한다.

그렇다면 어디서 시작해야 하는가. 존스는 두 가지를 제시한다. 첫째, 경영진이 자기 자신부터 본다. CTO가 아닌 임원도 더 기술적이 되어야 하며, 직접 코드를 커밋하라는 뜻이 아니라 직원들에게 매일 쓰라고 요구하는 도구를 스스로 편하게 다루고 무엇이 되고 무엇이 안 되는지 공개적으로 말하는 학습자가 되라는 뜻이다. 둘째, 안전해 보이는 영역 대신 성공하면 사업 전체에 지렛대가 되는 과제를 고른다. 다만 가치 창출 과정이 지나치게 모호한 영역은 첫 과제로 적합하지 않고, 투입 요소를 정의하고 지도를 그릴 수 있는 고레버리지 영역부터 시작하라고 조언한다.

사람 문제에 대한 설명이 대담의 중심이다. 디렉터급 중간관리자가 이 변화의 챔피언이 되지 않으면 현장에서 아무것도 굴러가지 않기 때문에, 그들이 충분히 편안해질 때까지 시간을 쓰라고 말한다. 실무 팀에서는 예측 가능한 종형 분포가 나타난다. 상위 10~20%는 이미 집에서 AI를 써보고 있어 알아서 뛰어들지만, 문제는 가운데 집단이다. 이들은 이것이 커리어에 필요하다는 이해, 기술적으로 해볼 만하다는 감각, 달성 가능한 성공의 정의가 함께 주어질 때 비로소 움직인다. 그래서 엔지니어가 아닌 팀에는 덜 기술적인 도구를 줘야 한다는 것이다.

기술 쪽에서 가장 자주 발목을 잡는 것은 모델이 아니라 데이터다. 데이터가 사업 안팎으로 어떻게 흐르고 중간에서 어떻게 변형되는지 명확히 모르면 'LLM이라는 페라리 엔진은 있는데 넣을 연료가 없는' 상태가 된다. 이어 대화는 하네스로 옮겨간다. 존스는 하네스를 하나의 사업 자산으로 보라고 말한다. 조직이 일하는 방식과 경쟁우위를 LLM 주변에 코드로 새기는 작업이고, 그 결과물은 그 회사의 지식재산이 된다는 것이다. 앤트로픽과 OpenAI가 최근 포워드 디플로이드 엔지니어링 조직을 만든 것도 날것의 LLM만 꽂아서는 기업에서 성과가 나지 않는다는 인식 때문이라고 그는 해석한다.

비용 논의에서 존스는 토큰당 단가라는 프레임을 버리라고 말한다. 봐야 할 것은 완료된 작업 하나당 얼마가 드는가이며, 이 기준으로 보면 비용은 오히려 계속 싸지고 있다. 프런티어가 앞으로 나아가면 예전에 최상위 모델이 필요했던 일을 아래 세대 모델이 처리하게 되기 때문이다. 오픈웨이트 모델이 언제나 저렴하다는 통념도 경계한다. 서빙 스택을 구축·유지할 의지와 역량이 있는지, 그리고 모델마다 같은 문제를 푸는 데 쓰는 토큰 양이 크게 다르다는 점까지 따져야 한다는 것이다. 환각에 대해서는, 오늘날 실제 프로덕션 시스템에서는 큰 쟁점이 아니라는 견해를 밝힌다. 평가(eval)와 검증된 도구 호출이 하네스의 일부로 들어가면서 상당 부분 해소됐다는 설명이다.

주요 인사이트

• 실패한 파일럿이 실패인지 아닌지는 조직의 학습 능력에 달렸다. 사람 측면과 기술 측면에서 무엇을 배웠고 다음에 무엇을 다르게 할지 정리했다면 낭비가 아니지만, '우리에겐 안 맞더라'로 끝내면 배울 기회를 버린 것이다.
• 기술 스택은 팀 역량의 대리 지표다. 모노레포와 서비스 분리, GPU 선택 이유, 에이전트 접근과 사람 접근의 차이를 두고 대화가 되는 팀이라면 어떤 선택을 하든 괜찮다는 것이 존스의 판단이다.
• 문서화된 프로세스와 실제로 일하는 방식은 다르다. 컴퓨터를 직접 조작하는 에이전트는 업무가 실제로 벌어지는 도구들을 들여다볼 수 있고, 음성 받아쓰기는 정리되지 않은 의식의 흐름을 그대로 모델에 넘길 수 있게 해줘 암묵지를 꺼내는 현실적 수단이 됐다.
• 에이전트마다 이름이 붙은 단일 책임자를 둬야 한다. 주인 없는 에이전트가 조직을 떠도는 공유지의 비극을 피하기 위해서다. 쇼피파이에서 전사가 대화할 수 있는 에이전트 하나에 특정 책임자가 붙어 있는 사례가 언급된다.
• 섀도 AI는 막을 수 있는 대상이 아니다. 사람들은 어차피 자기 AI를 들고 출근하므로, CIO는 통제선을 높이기보다 팀에 가능한 한 빨리 '예'라고 답할 방법을 찾아야 위험이 줄어든다.

자주 묻는 질문

관련 AI 소식