기업 AI 거버넌스와 비용 관리: IBM 컨설팅이 말하는 CIO의 AI 어젠다

핵심 메시지

• AI가 소규모 파일럿을 넘어 산업적 규모로 확장되면서 토큰·컴퓨팅 실행 비용이 급증했고, CIO에게는 조직 전반의 AI 활동을 들여다보는 관측성과 거버넌스가 핵심 과제가 됐다.
• 개인 생산성 도구가 곳곳에 퍼지며 '스테로이드를 맞은 섀도 IT'가 생겨, IBM 통계로 CIO의 3분의 2가 '책임은 지지만 통제하지는 못하는' 상태에 놓였다.
• IBM은 자사를 '클라이언트 제로'로 삼아 관측성 계층에서 현재 사용 중인 60개 모델을 확인하고, 작업에 맞춰 값싼 모델로 라우팅하는 식으로 비용을 관리한다.
• 'AI는 접촉 스포츠'라는 말처럼, 기술은 던져두면 되는 것이 아니라 사람들이 직접 써보고 일하는 방식을 바꿔야 가치가 나온다 — 변화 관리가 성패를 가른다.
• 일자리 문제는 일괄적 '종말'이 아니라 지역별 노동시장과 재교육의 문제이며, 정부·기업·교육기관의 협업이 필요하다는 것이 볼드윈의 시각이다.

쉽게 이해하기

IBM 컨설팅에서 오퍼링과 성장을 총괄하는 앤디 볼드윈은, CEO들이 AI를 강하게 요구하지만 정작 이를 구현할 CIO들이 준비됐는지 되묻는 데서 이야기를 시작한다. 지난 6~12개월 사이 기업은 비용 부담이 크지 않던 다수의 소규모 파일럿에서 벗어나, 일부 활용 사례를 실제로 확장하기 시작했다. 그러자 실행 비용·컴퓨팅 비용·토큰 비용이 눈에 띄게 늘었고, 이것이 AI 거버넌스에 대한 관심과 가시성을 끌어올렸다는 것이다.

그는 지금 상황을 '스테로이드를 맞은 섀도 IT'에 비유한다. 회사가 제공했거나 직원이 개인적으로 쓰는 생산성 도구가 조직 곳곳에 퍼지면서, CIO·CTO가 그 자산을 온전히 통제하거나 감독하지 못하는 경우가 많아졌다. 방청객 질문으로 소개된 IBM 통계에 따르면 CIO의 3분의 2가 '책임은 지지만 통제하지는 못하는' 처지다. 이 때문에 조직 전반의 AI 활동을 투명하게 들여다보는 관측성과 거버넌스가 그 어느 때보다 중요해졌다고 그는 강조한다.

IBM은 스스로를 '클라이언트 제로'라 부르며 수년간 전사에 AI를 적용해 왔다. 볼드윈은 자신의 노트북에서 관측성 계층에 접속하면 IBM 전체가 현재 쓰는 60개 모델을 볼 수 있고, 각 모델의 단가가 크게 다르다고 말한다. 어떤 모델이 어떤 작업에 쓰이는지 파악해 필요하면 특정 모델 접근을 줄이고 더 저렴한 모델로 유도한다. 그는 '신문 한 부 사러 페라리를 몰고 가는' 비유로, 작은 언어모델이나 기존 머신러닝으로 충분한 일에 값비싼 프런티어 모델을 쓰지 말라고 조언한다. 벤처 자본이 토큰 비용을 보조하던 시절이 끝나간다는 박스 CEO의 지적도 인용된다.

비용의 위력은 그의 경험담에서 드러난다. 이전 조직에서 그는 직원들이 외부 도구를 쓰지 못하도록 마이크로소프트를 통해 오픈AI 기반 챗봇을 30~40만 명에게 빠르게 배포했는데, 모두가 열심히 쓴 덕분에 6개월 만에 컴퓨팅 비용이 2,500만 달러까지 치솟았다. 급하게 배포하느라 토큰 효율을 충분히 설계하지 못한 탓이었고, 이후 아키텍처를 다시 짜 비용을 약 200만 달러 수준으로 낮췄다고 한다. 규모가 커지는 순간 비용 구조가 완전히 달라진다는 교훈이다.

볼드윈은 기술만큼 변화 관리가 중요하다고 거듭 말한다. 그는 'AI는 접촉 스포츠'라는 표현을 즐겨 쓰며, 담장 너머로 던져두고 채택되기를 바랄 수 없고 사람들이 직접 만지고 써봐야 한다고 강조한다. 코파일럿 라이선스 15만 개를 배포했던 경험, 며칠 만에 프로토타입을 보여줘 사람들을 참여시키는 '보여주기'의 힘도 소개한다. 일자리에 대해서는 광범위한 종말론에 거리를 두며, 노동시장이 빡빡한 일본·중국 같은 지역 요인과 재교육을 강조한다. IBM은 수요가 줄어드는 기술을 가진 1만5,000~2만 명을 파악해 이를 투명하게 알리고 재교육 계획을 제시하고 있으며, 영문학을 전공한 그의 딸이 18개월 만에 AI 컨설팅 업무를 하게 된 사례도 든다.

주요 인사이트

• AI의 진짜 통제는 '어떤 에이전트를, 누가, 무슨 작업에 쓰는지' 보이게 하는 관측성에서 시작한다. 보여야 영향력을 행사하고 은퇴·통합을 결정할 수 있다.
• 규모 확장의 함정은 성공에 있다. 모두가 쓰기 시작하면 곧바로 컴퓨팅·토큰 비용이 폭증하므로, 작업마다 적정 모델을 고르는 라우팅이 비용 관리의 핵심이 된다.
• AI는 답(목적지)을 줄 수 있어도 사람들을 결론까지 데려가는 '여정'은 대신하지 못한다. 그래서 규제·변화 관리가 필요한 컨설팅 업무는 완전히 자동화되지 않는다.
• 레거시는 걷어내기보다 감싸는 편이 낫다. 기록 시스템은 그대로 두고 '참여 계층'을 코파일럿 등으로 재상상하는 접근이 늘고 있다.
• 거버넌스 부담을 키운 새 변수는 양자컴퓨팅과 프런티어 모델의 악용 우려다. 이사회 차원에서 '우리 시스템은 안전한가'라는 질문이 부쩍 늘었다.

자주 묻는 질문

관련 AI 소식