기업 에이전틱 AI 2026 현실 점검: 하네스와 가드레일, 토큰 비용과 ROI의 문제

핵심 메시지

• "에이전트는 사실상 하네스다." 모델 자체보다 도구, 컨텍스트, 메모리, 가드레일을 어떻게 설계하느냐가 성패를 가른다.
• 최신 모델도 '들쭉날쭉한 지능'을 보인다. 놀라운 능력을 보이다가도 프롬프트가 조금만 바뀌면 단순한 실수를 저지른다.
• 앞선 기업들은 이미 1,000개 이상의 에이전트를 운영 중이지만, 대부분의 작업은 여전히 최종 승인 단계에 사람이 남아 있다.
• 골드만삭스 조사를 인용해, 기업들이 1년치 AI 예산을 3개월 만에 소진하는 '토큰 맥싱' 현상이 지적된다.
• SaaS 종말론에는 회의적이다. 기록 시스템은 사라지지 않으며, ERP나 CRM을 처음부터 다시 만드는 데 토큰을 쓰는 것은 대체로 수지가 맞지 않는다.

쉽게 이해하기

게스트는 에이전틱 AI 스택 전반에 투자해 온 인사이트파트너스의 임원이다. 그는 모델의 진화를 먼저 짚는다. 2024년 말 추론 개념이 도입되면서 AI가 챗봇을 넘어 에이전트로 향하는 첫 걸음이 놓였고, 뒤이어 등장한 오픈 모델들이 대형 언어 모델의 경제성을 근본적으로 바꿨다는 것이다. 그다음 코딩이 거대한 활용처로 떠올랐고, 올해 초에는 오픈소스 프레임워크들이 코딩을 넘어 일반 업무까지 처리할 수 있음을 보여주며 변곡점이 왔다고 정리한다.

그가 반복해서 강조하는 개념이 하네스다. 대형 언어 모델은 세상의 정보를 가중치로 압축한 상태 없는 엔진이라, 이전에 무슨 일을 했는지 사람처럼 기억하지 못한다. 그래서 모델에 도구와 컨텍스트, 메모리, 그리고 일종의 가드레일을 붙여 특정 작업을 수행하게 만드는 구성이 필요하고, 이것이 하네스다. 잘 만들어진 코딩 애플리케이션이 강력한 이유도 결국 하네스가 잘 설계돼 있기 때문이라고 그는 설명한다.

현실 진단은 냉정하다. 앞선 기업들은 이미 1,000개가 넘는 에이전트를 다양한 업무에 배포했지만, 모델은 여전히 들쭉날쭉한 지능을 보인다. 그래서 사용 사례마다 적절한 데이터 접근 권한, 컴플라이언스, 보안 체계를 갖춘 하네스를 직접 설계해야 하고, 대부분의 작업은 최종 확인에 사람이 개입한다. 실제 성과가 분명한 영역으로는 코딩과 고객 지원이 꼽히는데, 그는 코딩 에이전트 시장 규모를 약 30억 달러, 고객 지원 에이전트를 약 5억 달러 수준으로 추정한다. 법률과 헬스케어 같은 분야에서도 도입 속도가 빠르다고 덧붙인다.

위험 관리에 관한 질문에서 그는 계획이 잘못되거나, 잘못된 도구를 쓰거나, 프롬프트 주입 공격으로 엉뚱한 행동을 하는 등 실패 지점이 곳곳에 있다고 말한다. 대응책으로 제시되는 것이 일회성 샌드박스에서 먼저 실행해 가드레일에 부합하는지 확인하는 설계 패턴, 그리고 최종 출력만 보는 대신 매 단계의 실행 기록을 관찰하는 체계다. 멀티에이전트 구조에서는 한 에이전트의 오류가 다음 에이전트로 넘어가며 복리로 커지기 때문에 세밀한 관측 가능성이 특히 중요하다. 다만 평가 기준을 설계하는 일 자체가 에이전트 설계에서 가장 어려운 부분이라고 그는 인정한다.

비용 이야기는 이 대담에서 가장 실무적인 대목이다. 소프트웨어에 변동비가 생겼다는 것이 핵심이다. 추론하고 도구를 쓸 때마다 토큰이 소모되고, 여기에 외부 API 호출 비용까지 합쳐야 에이전트 한 번의 실행 비용이 나온다. 그는 이 합산 비용을 상담 이관 차단율이나 인보이스 대사 속도 같은 업무 단위 지표와 견줘야 한다고 말한다. 누구나 자기 에이전트를 만들 수 있게 된 지금, 만들 수 있다는 것이 만들어야 한다는 뜻은 아니며 우선순위 판단이 다시 중요해졌다는 것이다.

조직과 시장에 대한 관측도 이어진다. 스타트업에서는 소프트웨어 엔지니어와 제품 관리자, 현장 배치 엔지니어의 경계가 무너져 신입도 곧바로 고객 앞에서 만들고 고치는 일을 하게 됐고, 대기업에서도 같은 흐름이 감지된다고 그는 말한다. 기존 소프트웨어에 에이전트를 덧붙이기만 하는 접근은 밀려날 것이며, 인보이스 대사처럼 병목이 분명한 단계에 에이전트를 끼워 넣어 가치 실현 시간을 단축하는 쪽이 현실적이라고 본다. 가격 모델로는 부분 인력 개념으로 값을 매기는 방식이 실험되고 있다.

주요 인사이트

• 데이터 정비를 다 끝낸 뒤 AI를 시작하겠다는 접근은 더 이상 성립하지 않는다. 컴퓨터 사용과 브라우저 사용 도구가 사람처럼 기존 프로세스에 접근할 수 있어, 전환과 도입을 병행하는 편이 낫다.
• 경계가 분명한 문제일수록 자율화가 빠르다. 코딩은 결과를 측정하고 검증할 수 있어 자율성에 먼저 도달하지만, 공급망처럼 변수가 많은 업무는 하네스 설계 난도가 훨씬 높다.
• 규제 산업에서 사람이 남는 이유는 기술 성숙도가 아니라 책임 소재다. 승인과 책임이 제도로 요구되는 한 최종 확인 단계는 사라지지 않는다.
• 구축과 구매의 경계가 프런트엔드와 백엔드로 갈리고 있다. 표준화된 고객 대면 워크플로는 사서 쓰고, 산업별 규제와 자체 데이터가 얽힌 백엔드는 프레임워크로 직접 만드는 흐름이다.
• 제3자가 만든 에이전트를 그대로 들여오는 것은 아직 위험하다. 비결정성과 거버넌스 문제가 해결되지 않은 상태에서 외부 에이전트를 신뢰할 근거가 부족하다.

자주 묻는 질문

관련 AI 소식