기업 AI 도입이 실패하는 이유와 성공하는 회사의 조건, AI 강사가 본 대기업 현장 이야기

핵심 메시지

• 기업의 관심사가 1년 사이 프롬프트 사용법에서 에이전트 도입으로 옮겨갔고, 교육 요청도 특정 도구를 사내에 도입하려는 목적으로 바뀌었다.
• 기업이 가장 크게 걱정하는 것은 비용, 투자 대비 효과, 그리고 사내 정보를 외부 모델에 올려도 되는지에 대한 보안 문제다.
• 한 번의 교육으로 성과가 나오길 기대하지만, 실제로는 실험할 시간과 전담 조직이 없으면 대부분 POC 단계에서 멈춘다.
• 가장 좋은 결과물은 코딩을 잘하는 사람이 아니라 자기 업무를 깊이 아는 사람이 만들었다. AI의 답이 맞는지 검증하려면 도메인 지식이 필요하기 때문이다.
• 거창한 것을 만들려 하지 말고 자기 일에서 반복되는 작은 구간을 찾아 자동화하는 편이 훨씬 큰 효과를 낸다.

쉽게 이해하기

기업에 AI 교육을 나가는 강사의 관찰에 따르면, 불과 1년 사이 기업의 질문이 완전히 달라졌다. 예전에는 "AI를 어떻게 하면 잘 쓰느냐", 프롬프트를 어떻게 쓰느냐는 질문이 많았지만 지금은 거의 모든 요청이 에이전트에 몰린다. 사내에서 코딩 에이전트를 도입하고 싶으니 교육해 달라는 문의가 크게 늘었다는 것이다.

수강생 구성도 바뀌었다. 예전에는 젊은 직원 위주였다면 지금은 40~50대까지 전 연령이 온다. 각자 자기 미래가 걱정된다는 이유다. 강사가 가장 안타깝다고 말한 사례는 회사에서 "너를 대체할 AI를 만들어 오라"는 미션을 받고 오는 사람들이다. 반대로 의외로 개발 직군은 한번 써 보고 실망한 뒤 에이전트 교육을 잘 듣지 않는 경향이 있고, 세일즈·마케팅 직군이 적극적으로 참여해 효과도 크게 본다고 한다.

기업이 도입을 망설이는 이유는 세 가지로 정리된다. 첫째는 비용이다. 여러 명이 동시에 쓰면 API 요금이 예상 밖으로 불어나고, 유료 에디터 구독만 계산해도 인원수만큼 곱해진다. 둘째는 효과에 대한 의심이다. 과거 디지털 전환(DX) 때 데이터 파이프라인과 예측 모델에 큰돈을 썼지만 현장에서 체감한 변화가 애매했던 기억이 남아 있고, AI 전환은 그때보다 돈이 더 든다. 셋째는 보안이다. 사내 정보를 해외 모델에 올려도 되느냐는 질문에 강사도 뚜렷한 답을 주기 어렵다고 말한다.

실패의 구조도 분명하다. 업계에서 "POC의 저주"라고 부르는 현상인데, 도입은 요란하게 시작하지만 그다음 단계로 넘어가려면 시간과 리소스, 중간 성과를 점검하는 절차가 필요하다. 그런데 AI 과제는 대부분 기존 업무에 얹힌 추가 업무가 된다. 직원 입장에서는 자기 시간을 들여 회사를 위해 일을 더 하는 셈이고, 효율이 올라가면 일이 더 늘어날 뿐이라는 계산이 서면 동기가 사라진다. 강사가 그 회사의 AI 활용 가능성을 판단하는 기준은 단순하다. AI를 전담하는 팀이 있는지 여부다.

반대로 잘 되는 사례도 있었다. 한 금융권 교육에서는 전사 차원으로 긴 기간 교육을 진행하고 마지막에 개인이 직접 에이전트 프로젝트를 만들어 발표까지 하도록 설계했다. 수강생이 만든 결과물 중에는 옷에 관심이 많은 사람이 만든 개인화 코디 추천 앱, 전업 트레이더가 밤사이 해외 시장 소식을 정리해 주던 외부 업체를 대체한 사례, 부모님의 인터뷰 음성을 자서전으로 만들어 주는 에이전트 등이 있었다. 공통점은 만든 사람이 그 분야를 잘 안다는 것이다.

주요 인사이트

• AI 도입의 병목은 기술이 아니라 조직 설계다. 실험할 시간과 전담 조직이 없으면 교육을 아무리 해도 POC에서 끝난다.
• 도메인 지식이 결정적이다. AI가 내놓은 답이 맞는지 검증할 수 없는 분야에서는 좋은 결과물이 나오기 어렵다.
• 개발자와 비개발자의 격차보다, 같은 개발자 사이에서도 AI 활용 수준의 격차가 빠르게 벌어지고 있다.
• 해커톤처럼 이틀 정도 업무에서 떼어 놓고 몰입시키는 방식이 현업을 매일 빼기 어려운 기업에는 현실적인 대안이 될 수 있다.
• 앞으로 필요한 인재는 "오픈북 시험을 잘 보는 사람"에 가깝다. 답이 앞에 있어도 응용하려면 기본 이해가 있어야 한다.

자주 묻는 질문

관련 AI 소식