엔터프라이즈 AI 3차 물결은 ROI: 토큰 비용·오픈웨이트·에이전트 보안이 바꾸는 도입 전략

핵심 메시지

• 기업 AI는 ‘일단 도입하자’는 1차, ‘에이전트를 돌려보자’는 2차를 지나 투자 대비 성과를 증명해야 하는 3차 물결에 들어섰다.
• 코딩 에이전트 사용이 폭발하면서 토큰 비용이 통제 불능 수준으로 오르자, 기업들이 모델 라우팅과 자체 인프라로 눈을 돌리고 있다.
• 중국 오픈웨이트 모델과 최상위 모델의 격차가 6~9개월에서 3개월 수준으로 좁혀졌고, 비용은 여전히 3분의 1 수준이라는 것이 시장을 흔드는 변수다.
• 에이전트에게 사람과 같은 상시 접근 권한을 주는 관행이 가장 큰 보안 구멍이며, 작업 단위로 발급되고 곧 소멸하는 권한이 대안으로 제시된다.
• 가격 모델은 좌석 수가 아니라 ‘결과 하나당 비용’으로 옮겨가고 있고, 그러려면 평가 체계를 기업이 직접 소유해야 한다.

쉽게 이해하기

인터뷰의 출발점은 기업 AI 도입을 세 개의 물결로 나누는 틀이다. 1차는 이사회와 최고경영진이 “일단 AI를 돌려보자”고 했던 시기, 2차는 에이전트를 세우려 했지만 상당수가 아직 개발 환경에 머물러 운영으로 넘어가지 못한 시기다. 지금의 3차는 성과 증명이다. 코딩 에이전트 같은 손쉬운 사례에서 사용량이 기하급수로 늘자 토큰 경제성을 따지지 않을 수 없게 됐고, 그 밑을 보안이 떠받치고 있다는 것이 그의 정리다.

비용 문제는 곧바로 모델 선택 전략으로 이어진다. 그는 앞으로 기업 안에 한두 개가 아니라 수십 개의 모델이 공존할 것으로 본다. 최전선 연구소에 통제권을 넘기고 싶지 않다는 이유가 하나고, 비용이 다른 하나다. 결제 워크플로 하나를 잘 처리하는 데 모든 분야의 박사급 지능이 필요하지는 않다는 비유가 나온다. 그래서 ‘지능을 빌릴 것인가, 소유할 것인가’가 실질적인 질문이 되고, 그 답의 한 형태로 GPU와 모델 라우터를 한 상자에 담아 사내에 두는 어플라이언스형 접근이 소개된다. 그는 질의의 10% 정도만 상용 모델로 보내고 나머지는 직접 고른 오픈 모델로 돌리는 구성을 예로 들며, 연간 70% 수준의 비용 절감을 주장한다.

스타트업 쪽에서는 비슷비슷한 에이전트와 코파일럿, 얇은 응용 계층이 여전히 쏟아진다고 말한다. 회사를 시작하기는 그 어느 때보다 쉬워졌지만 오래 가는 회사를 만들기는 그 어느 때보다 어려워졌다는 표현이 이어진다. 그가 보는 생존 조건은 데이터 우위와 복리로 쌓이는 워크플로다. 사용자가 질의할 때마다 시스템이 더 똑똑해지고, 그렇게 모인 데이터로 자체 모델을 사후학습하는 흐름이 요즘의 정석이라는 것이다. 코딩 도구 커서가 사용자 데이터를 축적해 직접 모델을 사후학습한 사례가 근거로 제시된다.

보안 대목이 인터뷰에서 가장 날이 서 있다. 그는 사람들이 에이전트를 사람처럼 다루는 것이 문제라고 본다. 내가 특정 업무 시스템에 로그인해 있다고 해서 내 에이전트가 그 시스템에 영구 접근권을 가져야 할 이유는 없다는 것이다. 접근 권한은 실행 시점에 동적으로 발급되고 작업이 끝나면 빠르게 소멸해야 하며, 그래야 무언가 뚫렸을 때 피해 범위가 아주 작은 단위에 갇힌다고 설명한다. 만들기도 어렵고 실행 시점에 제공하기는 더 어렵지만, 지금 가장 크게 비어 있는 구멍이라는 진단이다.

마지막으로 그는 자율적으로 움직이는 공격 에이전트 무리를 최악의 시나리오로 든다. 사소해 보이는 취약점을 여러 개 엮어 실제 공격 경로를 만들고, 24시간 쉬지 않고 시스템을 두드리는 세계에서는 사람이 그 물량을 따라갈 수 없다는 것이다. 공격이 유리하고 방어가 뒤쫓는 구도이므로 결국 자율 방어로 가야 한다고 말한다. 다만 자율 방어에도 맥락이 필요하고, 지금은 AI 시스템에 대한 신뢰가 충분히 쌓이지 않아 사람이 계속 개입하고 있다는 현실을 함께 짚는다.

주요 인사이트

• ‘쉬운 버튼’의 정의가 옮겨가고 있다. 처음에는 상용 API를 갖다 쓰는 것이 가장 쉬운 길이었지만, 이제는 미리 구성된 장비를 들여놓고 10분 만에 띄우는 쪽이 더 쉬운 선택지가 되어가고 있다.
• 오픈소스와 오픈웨이트는 다른 얘기다. 오픈소스는 라이선스와 사업 모델의 문제여서 일정 매출을 넘기면 비용을 내야 하는 경우가 있고, 오픈웨이트는 가중치를 내려받아 직접 손볼 수 있다는 기술적 자유를 뜻한다.
• 평가 체계가 기업의 자산이 된다. 에이전트가 일을 잘했는지 판단하는 기준과 그 판단을 다시 학습에 되먹이는 고리를 외부에 넘기면, 시간이 지날수록 쌓이는 지적 자산도 함께 넘기는 셈이다.
• ‘맥락 계층’이나 ‘거버넌스 계층’을 통째로 소유하겠다는 제안은 현실성이 낮다. 이미 대형 업무 시스템 사업자들이 그 자리를 노리고 있어, 특정 업무에 한정된 구체적인 맥락을 파고드는 쪽이 승산이 있다.
• 파일럿 성공 공식은 단순하다. 측정 가능한 가장 쉬운 업무부터 시작해 수치로 성과를 보이고, 그 성공을 조직 안에서 공유해 확산하는 것이다. 한 보험사 사례에서는 청구 처리 과정을 57단계로 분해한 뒤 사람과 AI를 나란히 비교했고, 녹화된 기록을 되짚어 보니 오히려 사람 쪽 오류가 더 많았다는 결과가 나왔다.

자주 묻는 질문

관련 AI 소식