AIOps 3세대와 에이전트 IT 운영: 자율 복구는 지금 어디까지 왔나, HPE 임원 진단

핵심 메시지

• AIOps 1세대는 알림 중심, 2세대는 토폴로지와 일부 계측 데이터, 3세대는 인프라 전체 맥락과 메트릭·로그·트레이스를 함께 학습해 유력한 근본 원인을 찾는 단계라는 구분이 제시됐다.
• 지금의 에이전트는 사람을 대체하기보다 탐지와 복구에 걸리는 시간을 줄이는 조치 제안 단계에 있고, 완전 자율은 규정 준수·거버넌스·신뢰 문제로 아직이라는 평가다.
• 자율화는 이분법이 아니라 스펙트럼이다. 반복 확인된 패턴은 에이전트가 스스로 처리하고 위험한 작업은 담당자 승인을 받는 식으로 워크플로 자체가 동적으로 바뀐다.
• 에이전트 운영이 유망한 영역으로 근본 원인 분석·인시던트 관리·헬프데스크에 더해 용량 조절, 프로비저닝, 비용 최적화가 꼽혔다.
• 토큰 단가는 내려가지만 소비량이 더 빠르게 늘고 있어, 저비용 토큰과 프런티어 모델을 용도에 따라 나눠 쓰는 선택이 과제로 떠올랐다.

쉽게 이해하기

인포마 테크타깃의 팟캐스트 IT Ops Query에서 진행자 베스 파리소가 HPE의 바르마 쿠누파라주를 다시 초대했다. 그는 AIOps 기업 옵스램프를 공동 창업해 이끌다 2023년 HPE의 인수와 함께 합류했고, 지금은 클라우드옵스 소프트웨어와 그린레이크 플랫폼의 일부를 총괄하는 임원이다. 대화는 VMware 이탈 흐름에서 시작해 AIOps의 세대 교체로 이어진다.

VMware 대체 수요는 두 갈래로 나뉜다고 그는 정리한다. 하나는 라이선스 비용을 줄이려는 수요이고, 다른 하나는 이 기회에 런타임 전체를 현대화하려는 수요다. 대형 고객은 금융기관과 대형 유통처럼 엣지 매장부터 데이터센터, 퍼블릭 클라우드까지 걸친 스택을 가진 곳들이고, 채널과 서비스 사업자를 통해서는 중소 규모 고객이 들어온다. 기존 하이퍼바이저와 쿠버네티스 환경을 하나의 컨트롤 플레인에서 섞어 관리할 수 있다는 점을 차별점으로 내세운다.

AIOps 이야기에서 그는 1세대를 이렇게 회상한다. 잡음까지 포함한 모든 신호를 던지면 알고리즘이 알아서 건초더미 속 바늘을 찾아 준다는 접근이었고, 그때도 자신은 토폴로지와 관측 데이터를 이해해야 한다고 강조해 왔다는 것이다. 최신 대형 언어 모델이 등장하면서 5년 전에는 규모 면에서 불가능했던 계측·토폴로지 데이터 활용이 가능해졌고, 그 결과 인프라 전체 맥락과 모든 텔레메트리를 근거로 원인을 좁히는 3세대가 열렸다고 본다.

다만 자율 운영이 실전에 준비됐느냐는 질문에는 선을 긋는다. 어떤 인프라 운영 조직도 완전 자율에 준비돼 있지 않으며, 이유는 에이전트의 능력이 아니라 규정 준수와 거버넌스, 그리고 위임에 대한 심리적 신뢰라는 것이다. 현재 위치는 사람이 개입한 상태에서 에이전트가 근본 원인과 복구 절차를 제안해 시간을 줄여 주는 단계다. 같은 패턴이 여러 번 반복되고 같은 제안이 옳았음이 확인되면 다음부터는 맡기는 식으로 위임 범위를 넓혀 간다.

AI 도입 자체의 비용 문제도 다뤄졌다. 토큰 단가는 내려가는데 소비량이 기하급수적으로 늘고 있어, 기업들이 온프레미스에 프라이빗 클라우드 AI를 세워 일상적인 토큰 수요를 자체 조달하고 깊은 추론이 필요할 때만 프런티어 모델을 쓰는 방향으로 움직인다는 관찰이다. 최근 정식 출시한 관측 제품에는 GPU와 토큰 사용량, 첫 토큰까지 걸리는 시간, KV 캐시 적중률 같은 AI 워크로드 계측이 포함됐다고 소개했다.

주요 인사이트

• 자율화의 속도를 결정하는 것은 에이전트의 성능이 아니라 규정 준수·거버넌스·신뢰라는 지적이 이 대화의 핵심이다. 기술이 준비돼도 조직이 권한을 넘기지 못하면 자율 운영은 오지 않는다.
• 에이전트 복구를 기존 런북의 진화형으로 본다는 점이 실용적이다. 이미 정리해 둔 운영 절차가 에이전트에게 무엇을 언제 맡길지 정하는 출발점이 된다.
• 관측 대상에 GPU 사용량과 토큰, KV 캐시 적중률이 들어가기 시작했다는 것은 AI 워크로드가 특별한 실험이 아니라 일상적인 운영 대상이 됐다는 신호다.
• 토큰 비용은 단가 하락과 소비 증가가 맞물려 총액이 저절로 줄지 않는다. 용도에 따라 저비용 소스와 고성능 모델을 나눠 쓰는 선택이 대응책으로 제시된다.
• 가격도 언급됐다. VM Essentials는 첫 1년 무료 제공 이후 소켓당 약 600달러 수준이고 상위 패키지는 3,000~3,500달러, 최상위 구성은 4,500달러 안팎이라고 말하면서도, 기능이 계속 추가되는 만큼 확정 가격으로 인용하지는 말라는 단서를 달았다.

자주 묻는 질문