AI 옵스로 장애 대응 20분→2분: 홈디포의 Gemini·오픈텔레메트리 사례

핵심 메시지

• 홈디포는 기존에 장애 발생 시 대응에 20분 이상 걸리던 것을 'AI 옵스' 도입 후 약 2분 수준으로 줄였다.
• Gemini 모델을 '페어 신뢰성 엔지니어'처럼 활용해 상황 진단·요약, 근본 원인 분석(RCA), 다음 조치 제안을 돕는다.
• 관리형 프로메테우스로 지표를 모으고 오픈텔레메트리로 라벨을 일관되게 맞춰, AI가 데이터를 더 정확히 상관분석하도록 하는 것이 핵심 토대다.
• 단순 알림이 아니라 시스템의 맥락까지 함께 제공하는 '컨텍스트 알림'이 정확한 예측과 근본 원인 분석을 가능하게 한다.
• 다음 목표는 AI가 근본 원인 분석을 넘어 직접 수정 PR을 제안하는 것이며, 아직은 사람이 검수하는 단계를 유지한다.

쉽게 이해하기

구글 클라우드의 앨리슨 박이 홈디포의 엔지니어 아시시, 추마와 나눈 대화에서, 이들은 신뢰성 엔지니어링을 '고객이 필요할 때 언제나 시스템이 정상 작동하도록 하는 일'이라고 설명한다. 장애가 밤중에 터지지 않도록 예방하고, 터지더라도 얼마나 빨리 원인을 찾아 해결하느냐가 핵심이라는 것이다.

홈디포는 GCP를 주요 배포 플랫폼으로 쓰면서 'AI 옵스' 개념을 발전시켜 왔다. 과거에는 알림이 울리면 엔지니어가 직접 대시보드와 로그를 뒤지며 분석했지만, 이제는 Gemini 모델이 '페어 신뢰성 엔지니어'가 되어 증상을 함께 진단하고 문제와 근본 원인, 다음 조치를 요약해 준다.

성과는 수치로 확인된다. 매장 시스템에서 엔지니어가 흩어진 데이터를 헤치며 장애에 대응하던 시간이 20분을 넘겼는데, AI 옵스 모델을 적용한 뒤로는 약 2분 수준으로 줄었다고 이들은 말한다.

기술적 토대는 수년 전 도입한 관리형 프로메테우스다. 여러 프로젝트에서 발생하는 높은 카디널리티의 지표를 한곳에 일관되게 모으고, 여기에 오픈텔레메트리로 라벨을 표준화해 상관분석 정확도를 높였다. 라벨과 맥락이 풍부할수록 AI의 예측과 근본 원인 분석이 정확해진다는 설명이다.

개인 차원의 변화로는 '시스템 중심'에서 '사용자 경험 중심' 사고로 옮겨간 점을 꼽는다. 사용자 경험을 공통 언어로 삼으니 리더·개발자·제품·네트워크 담당자와 같은 말로 소통하게 됐고, 이를 통해 고객과 동료에 대한 공감이 커졌다고 말한다. 다음 단계는 AI가 원인 분석을 넘어 수정 PR까지 제안하도록 하되, 사람이 검수하는 절차는 유지하는 것이다.

주요 인사이트

• AI를 운영에 접목한 'AI 옵스'의 가치는 모델 자체보다, 프로메테우스와 오픈텔레메트리로 데이터·라벨을 일관되게 정리한 관측 가능성 기반에서 나온다.
• '컨텍스트 알림'처럼 알림에 시스템 맥락을 함께 실어야 AI가 유의미한 상관분석과 근본 원인 추론을 할 수 있다.
• 장애 대응 자동화의 효과는 시간 단축(20분→2분)뿐 아니라, 엔지니어가 반복 작업(toil)에서 벗어나 사용자 경험과 협업에 집중하게 만든다는 데 있다.
• AI가 직접 코드 수정 PR을 만드는 단계로 가더라도, 결정론적 신뢰를 확보하기 전까지는 사람의 검수를 남겨 두는 점진적 접근을 택하고 있다.

자주 묻는 질문

관련 AI 소식