AI SRE 에이전트의 난제 정리: 하루 페타바이트 관측 데이터와 검색 설계 이야기

핵심 메시지

• 장애 원인 분석은 정답 데이터가 없고, 사람의 작업을 흉내 내는 방식도 통하지 않는 어려운 문제라고 창업자들은 말한다.
• 대형 고객사는 하루 페타바이트 규모의 데이터를 만들어내기 때문에, 문제는 AI 문제인 동시에 데이터 문제가 된다.
• 미리 계산해 두는 오프라인 처리와 실시간 조회 사이의 균형을 데이터의 카디널리티에 따라 나눈다.
• 여러 에이전트로 성급히 쪼개기보다 단순한 단일 에이전트 루프와 스킬로 시작하라는 조언이 나왔다.
• 정확도만 보던 모델 선택 기준에 비용이 새로운 제약으로 등장했다고 두 창업자는 밝혔다.

쉽게 이해하기

랭체인의 공동창업자 해리슨이 트래버설의 공동창업자들과 나눈 대담은, 소프트웨어 장애를 진단하는 에이전트를 만들면서 부딪힌 문제들을 다뤘다. 트래버설 창업자들은 MIT 대학원에서 인과 기계학습과 강화학습을 연구하던 이들로, 코딩 에이전트가 좋아질수록 아무도 직접 쓰지 않은 코드가 늘어나 운영 신뢰성 문제가 커질 것이라고 봤다.

이들이 꼽은 난점은 네 가지다. 장애 대응은 극도로 긴장된 상황이라 틀리면 안 되고, 필요한 원격 측정 데이터로 학습된 모델이 없으며, 사람의 작업 기록을 모아 흉내 내는 방법도 통하지 않는다. 마지막으로 대형 고객사는 하루 페타바이트 규모의 데이터를 만들어내는데, 그것을 모델의 맥락 창에 다 넣으려 한다면 조사 한 건에 감당하기 어려운 비용이 든다는 것이다.

그래서 이들의 해법은 검색 설계로 향한다. 미리 계산해 두면 같은 시간에 더 많은 데이터를 훑을 수 있지만 세밀함이 떨어지고, 실시간 조회는 세밀하지만 양을 감당하지 못한다. 두 극단 사이를 잇는 자료 구조를 만들고, 그 사이를 언제 어떻게 오갈지 판단하는 지능 계층을 얹는 방식이다. 판단 기준으로는 값의 종류가 얼마나 다양한지, 그리고 얼마나 빨리 바뀌는지를 든다.

구조는 하나의 핵심 에이전트가 여러 하위 에이전트를 부르는 형태다. 파일 시스템이 중요한 이유로는, 맥락 창이 유한하기 때문에 요약을 먼저 보고 필요할 때 깊이 파고들 수 있어야 한다는 점, 그리고 모델들이 텍스트 검색에 특히 능숙하게 훈련돼 있다는 점을 들었다. 사용자와의 상호작용에서 배우는 기억은 시스템 구조 표현과 별도로 저장하는데, 사람이 계속 입력하면 오히려 잘못된 통념이 섞일 수 있기 때문이라고 설명했다.

평가에 대해서는 실행 기록 하나가 500만 토큰에 이르기도 한다며, 해리 포터 전집이 200만 토큰이라는 비교를 들었다. 무엇을 평가할지에 대한 조언은 명확했다. 가장 어려운 일을 평가하라는 것이다. 어려운 문제에서 잘하면 나머지로 일반화되는 경향이 있고, 쉬워 보이는 일상 질문은 좋은 정답 데이터를 얻기도 어렵다는 이유다.

주요 인사이트

• 자율주행의 단계 구분을 빌려 운영 자동화를 0단계부터 5단계로 나눈 설명이 인상적이다. 팀 단위의 작은 시스템까지는 직접 만들 수 있지만, 전체 운영 환경을 가로지르는 4단계부터는 직접 구축이 막힌다고 봤다.
• 핵심 지표를 첫 통찰까지 걸리는 시간으로 잡고 2분 안에 무언가를 내놓아야 한다는 기준은, 사전 계산을 얼마나 해 둘지를 결정하는 실질적 제약이 된다.
• 지난해에는 정확도만 보면 됐지만 사용량이 늘면서 비용이 실제 경제적 제약이 됐다는 언급은, 에이전트 도입 단계가 바뀌고 있음을 보여준다.
• 여러 에이전트로 성급히 쪼개는 것이 흔한 실수라는 지적이 나왔다. 적절한 도구와 스킬을 준 단순한 루프만으로도 생각보다 멀리 갈 수 있다는 것이다.
• 실행 기록 자체가 너무 길어 사람이 검토하기 어렵기 때문에, 기록을 먼저 분류해 주는 에이전트가 필요하다는 점은 평가 도구의 새로운 수요를 보여준다.

자주 묻는 질문

관련 AI 소식