엔터프라이즈 AI 2026: 토큰 비용·에이전트 도입 현실 (박스 CEO 애런 레비 인터뷰)

핵심 메시지

• 대기업의 에이전트 AI 도입은 여전히 "1일차"다. 챗봇조차 아직 확산 중인데 그보다 앞선 에이전트가 등장하면서 도입 과제가 겹쳤다.
• 역설적으로 모델 발전이 빠를수록 도입은 늦어진다. 새 돌파구가 직전에 구축한 것을 계속 구식으로 만들기 때문이다.
• 토큰 비용이 최대 현안으로 떠올랐다. 에이전트 한 번 작업이 1,000달러의 컴퓨팅을 쓸 수 있어 월 20달러 정액 모델이 무너졌다.
• AI 비용은 IT 예산(매출의 3~7%)을 넘어 마케팅·영업 같은 현업 예산으로 이동하고 있지만, 현업에는 컴퓨팅을 관리할 도구가 없다.
• 코딩이 먼저 확산된 이유는 기술 사용자, 검증 가능한 결과, 코드베이스에 집중된 맥락, 깔끔한 접근 권한 때문이다. 나머지 지식업무는 이 조건이 없어 확산이 더디다.

쉽게 이해하기

FirstMark의 MAD 팟캐스트에 박스(Box) CEO 애런 레비가 다시 출연해, 세계 최대 기업들이 에이전트 AI를 실제로 어떻게 도입하고 있는지 현장 관점을 공유했다. 레비는 올해에만 포춘 500·글로벌 2000 기업의 CIO 수백 명과 이야기했다며, 이 주제가 모든 고객과의 대화를 지배하는 단 하나의 화두라고 말했다. 그의 결론은 "우리는 아직 아주 초기 단계"라는 것이다.

흥미로운 역설은 기술이 빠르게 발전할수록 도입이 오히려 늦어진다는 점이다. 기업이 이제 막 사내 챗 시스템의 최종 배포 계획을 세웠는데, 그사이 능력이 더 확장돼 챗을 넘어 실제로 일을 수행하는 에이전트로 관심이 옮겨갔다. 돌파구가 고객의 구현 속도보다 빨리 나오고, 그 돌파구가 직전에 구축한 것을 구식으로 만들어 롤아웃이 더 길어진다는 것이다.

CIO들의 분위기는 의외로 낙관적이다. 엔지니어링 팀이 클로드 코드·코덱스·커서로 앱을 더 빨리 만들고 IT 프로젝트와 보안 검토를 빠르게 처리하는 생산성 향상을 직접 목격했기 때문이다. 현업 부서가 먼저 "우리도 이 도구를 달라"고 요구하는 상황이라, 회의론보다 야심에 가깝다. 다만 "공짜 점심은 없다"는 현실 인식도 분명하다.

가장 뜨거운 실무 현안은 토큰 비용이다. 레비는 채팅봇이나 코파일럿식 자동완성의 가격 모델이, 에이전트 한 번의 작업이 1,000달러어치 컴퓨팅을 소비할 수 있는 시대에는 더 이상 통하지 않는다고 지적한다. 게다가 프런티어 토큰의 단가 자체가 올랐다. "토큰 비용은 늘 내려간다"던 그동안의 서사와 정반대다. 모델이 커지고 하드웨어 용량은 부족해 랩과 데이터센터가 가격 결정력을 쥐고 있으며, 10년치 컴퓨팅 사이클이 12개월로 압축된 탓에 아직 정상적인 비용 하락 곡선이 나타나지 않는다.

레비는 비용의 무게중심이 IT 예산에서 현업 예산으로 옮겨간다고 본다. IT 지출은 대개 매출의 3~7%에 갇혀 있어, 진짜 생산성 향상은 그 밖의 운영비(OPEX)로 이동한다. 문제는 마케팅·영업 팀에는 클라우드 비용을 관리하던 FinOps가 없다는 점이다. 잘못 구성한 프롬프트 하나가 시스템 전체로 퍼져 한 달 복리후생비에 맞먹는 비용을 낼 수도 있는데, 이 토큰의 ROI를 측정할 도구는 아무도 갖고 있지 않다.

주요 인사이트

• 기업은 하나의 "페라리 모델"에 모든 작업을 던지지 않을 것이다. 레비는 평균적인 대기업이 대여섯 개의 모델을 섞어 쓰게 될 것이라 본다. 어려운 작업엔 프런티어 모델을 쓰고, 신뢰성 있게 처리되는 작업은 더 싼 모델이나 오픈소스 모델로 떼어내는 식이다.
• 때로는 정답이 에이전트가 아니라 그냥 소프트웨어다. UI를 매일 아침 다시 렌더링하느라 하루 30달러를 쓰는 대신, CPU에서 도는 전통적 소프트웨어가 더 싸고 합리적일 수 있다.
• 코딩이 먼저 확산된 것은 우연이 아니다. 사용자가 기술자라 에이전트의 실수를 직접 고칠 수 있고, 테스트로 결과를 검증할 수 있으며, 맥락이 코드베이스 한곳에 모여 있고, 접근 권한이 깔끔하다. 반면 일반 지식업무는 맥락이 20곳에 흩어져 있고 권한 관리가 지저분해 같은 속도가 나오지 않는다.
• "지루하지만 가장 중요한" 과제는 접근 권한 통제다. 지식업무 에이전트는 필요한 자원에 권한이 없어 막히거나, 반대로 지나치게 많은 권한으로 보지 말아야 할 데이터로 답을 만들어내기 쉽다.

자주 묻는 질문

관련 AI 소식