AI 에이전트 개발 적기인 이유 10가지: 존 크론이 짚은 기회와 ROI

핵심 메시지

• 앤드루 응은 에이전트 워크플로를 활용한 AI 애플리케이션 구축에 전례 없는 비즈니스 기회가 있다고 본다.
• 난도 높은 벤치마크 HLE에서 단일 모델은 5~10%에 그치지만, 에이전트 워크플로로 감싸면 25% 이상으로 뛰어오른다.
• 에이전트는 반복 업무에 특히 유용하며, 저렴하게 설계·배포해 측정 가능한 ROI를 내고 "AI ROI 플라이휠"을 돌릴 수 있다.
• LLM 발전, 프레임워크, 클라우드, 데이터, 오픈소스, 저가 하드웨어, 손쉬운 개발 도구, 연결성, 우호적 환경, 풍부한 교육자원이 개발자를 떠받친다.
• 에이전트가 모든 기업 용도에 완벽하진 않지만, 지금처럼 개발하기 좋은 때는 없었다.

쉽게 이해하기

존 크론은 팟캐스트 841회에 출연한 앤드루 응을 인용하며, 에이전트 워크플로를 쓰는 AI 애플리케이션 구축에 전례 없는 비즈니스 가치 창출 기회가 있다고 소개한다. 그의 컨설팅 회사 "와이 캐럿"의 일화에 따르면, 잠재 고객과의 대화가 100% 다음 단계로 이어질 만큼 시장 수요가 뜨겁다고 말한다.

다만 모두가 동의하는 것은 아니다. "100페이지 머신러닝 책"의 저자 안드리 부르코프(867회)는 다중 에이전트를 포함한 LLM 에이전트 시스템이 과대평가됐다고 본다. 크론은 자신은 응의 진영에 더 가깝다며, 오늘날 LLM에 결함과 한계가 있지만 그것이 무서운 속도로 극복되고 있다고 반박한다.

근거로 그는 인류의 마지막 시험(HLE)을 든다. 100여 개 분야 전문가 1천 명이 큐레이션한 2,500개의 매우 어려운 문제로, 모델 과적합을 막기 위한 비공개 테스트셋까지 둔 벤치마크다. 단일 모델은 대부분 5% 안팎, 추론형 o1도 10% 수준이라 오래 정복되지 않도록 설계됐다. 그런데 단계별 사고와 작업 정확도 점검, 실시간 검색(오픈AI 딥리서치 같은)을 갖춘 에이전트 워크플로로 감싸자 정확도가 25% 이상으로 뛰었고, 추론 시간을 늘리면 여유 공간도 더 있다.

또 다른 지수형 그래프는 사람이 몇 초~몇 분 걸리던 인지 작업을 모델이 50% 성공률로 처리하는 한계가 점점 한 시간에 가까워지고 있음을 보여준다. 일부는 이를 AGI가 코앞이라는 근거로 쓰지만, 크론은 50% 성공률은 많은 기업 용도에 충분치 않고 수학·머신러닝·코딩처럼 다단계 학습 데이터를 만들기 쉬운 작업에 한정된다며 AGI까지는 적어도 수년 남았다고 본다.

그럼에도 그는 지금이 AI 에이전트를 개발하기에 가장 좋은 때라고 강조한다. 에이전트가 모든 기업 용도에 완벽하진 않지만, 특히 반복 작업에서 저렴하게 설계·배포해 업무 성과를 크게 증강하거나 완전 자동화할 수 있다. "스테로이드 맞은 RPA"처럼, 작은 성과로 ROI를 입증하면 경영진이 더 투자하는 AI ROI 플라이휠이 돌기 시작한다.

주요 인사이트

• LLM의 발전: 모델 성능이 계속 좋아지고, 에이전트 프레임워크로 감싸면 단일 모델보다 훨씬 강력해진다.
• 도구와 인프라: 파이토치 라이트닝·허깅페이스 같은 프레임워크, AWS·구글 클라우드·애저 등 클라우드 컴퓨팅, 도커·쿠버네티스 같은 서버리스·컨테이너 기술이 빠른 확장과 배포를 가능케 한다.
• 데이터와 오픈소스: 방대한 오픈 데이터셋이 공개돼 있고 지구상 데이터가 약 6개월마다 두 배로 늘며, 깃허브와 풍부한 문서가 재사용·협업을 쉽게 한다.
• 접근성: 저가 센서·라즈베리파이·엣지 기기 같은 하드웨어, 드래그앤드롭형 노코드 개발 도구, 5G·초고속 인터넷 같은 연결성이 누구나 어디서나 에이전트를 만들고 활용하게 돕는다.
• 환경과 교육: 미국 등 일부 지역의 우호적 규제, 노동력 부족·생산성·비용 절감 압박이 만든 강한 시장 수요, 그리고 온라인 강의·튜토리얼 같은 저렴한 교육 자원이 개발자를 떠받친다.

자주 묻는 질문

관련 AI 소식