하이퍼스케일 서비스의 현실: 마이크로소프트 365와 애저 규모에서 가용성·비용·AI 운영을 다루는 법

핵심 메시지

• 오피스 365는 사용자가 수십억 명, 저장 데이터가 수백 엑사바이트, 서버가 10만 대를 넘는 규모여서 작은 규모에서 통하던 설계가 그대로 무너진다.
• 서버 하나의 가용성이 아무리 높아도 수십만 대를 곱하면 항상 무엇인가는 고장 나 있다. 그래서 고가용성과 재해 복구를 나누지 않고 '연속 가용성' 하나로 설계한다.
• 하루 수천조에서 수백경 건의 작업을 처리하는 규모에서는 10억분의 1 확률의 사건이 일상적으로 발생하고, 기이한 조합의 장애도 흔해진다.
• AI는 경보를 감지해 사람보다 훨씬 빠르게 1차 대응을 하는 자동 운영에 이미 쓰이지만, 질문을 올바로 세우고 제약을 정의하는 숙련된 사람의 필요는 오히려 커진다.
• AI 비용 절감의 가장 큰 몫은 하드웨어가 아니라 상위 알고리즘에서 나온다. 가장 싼 호출은 아예 하지 않아도 되는 호출이기 때문이다.

쉽게 이해하기

마이크로소프트 리서치 인도의 학술 서밋에서 기술 펠로 짐 클라윈이 강연했다. 오피스 365를 클라우드로 옮기고 팀즈의 백엔드를 설계해 온 그가 꺼낸 주제는 세계 최대 규모 서비스를 만들고 운영하면서 부딪히는 실무적 난제, 그리고 거기서 생겨나는 연구 기회다. 그는 응용 연구를 '상업적 활용을 염두에 두고 제약이 많은 환경에 자유로운 연구적 사고를 적용하는 기술'이라고 정의하며, 종종 새로운 사고가 필요 없다고 믿는 엔지니어들을 설득하는 일까지 포함된다고 농담을 섞어 설명했다.

규모의 감각부터 맞춘다. 오피스 365는 사용자가 수십억 명, 보관 중인 고객 데이터가 세 자릿수 엑사바이트로 머지않아 요타바이트 영역에 들어서며, 하루 작업 수는 수천조에서 수백경 건, 서버는 10만 대 이상, 하드디스크와 SSD는 수백만 개, 서비스 종류는 수천에서 수만 가지다. 애저로 넘어가면 70개 리전, 400개 데이터센터, 60만 마일의 광케이블, 수백만 대의 서버로 규모가 한 번 더 뛴다. 그는 위스콘신주 마운트플레전트에 지은 AI 전용 데이터센터를 예로 들며, 냉각 배관의 지름이 48인치여서 처음 보면 파이프가 아니라 건물 구조물처럼 보이고 단일 건물 기준 세계 두 번째로 큰 냉각 설비가 들어갔다고 소개했다.

이 규모에서 가장 먼저 깨지는 것이 가용성에 대한 상식이다. 서버 한 대가 '나인 네다섯 개'짜리 가용성을 보장한다 해도 여섯 자릿수의 서버를 굴리면 항상 무엇인가는 고장 나 있다. 게다가 하나의 요청 경로에 여러 서비스가 걸치면 가용성은 곱해지므로 전체 값은 계속 낮아진다. 그래서 그의 조직은 고가용성과 재해 복구를 구분하지 않는다. 두 개로 나누면 실패할 수 있는 절차가 둘이 되고, 재해 복구처럼 평소에 실행하지 않는 절차는 정작 필요한 순간에 대체로 망가져 있기 때문이다. 그는 뉴욕 대정전 당시 뉴저지로 전환한 금융권 시스템이 평소 부하를 걸어 시험해 본 적 없던 발전기 과열로 화재를 냈고, 그날이 10년간 뉴저지 소방서 동시 출동 신고가 가장 많았던 날이었다는 일화를 들었다.

실패의 대가는 통계가 아니라 사람의 이야기로 돌아온다. 메일이 밀려 400억 건이 넘는 미발송 메시지가 쌓였던 장애에서 팀이 24시간 만에 잔여 500건까지 줄였을 때, 그는 지친 팀원들을 집으로 보냈다. 다음 날 항의가 들어왔다. 밥 아이거 당시 디즈니 회장에게 출발 시각이 한 시간 앞당겨졌음을 알리는 메일이 그 500건에 들어 있었고, 조종사가 공항에 나타나지 않았던 것이다. 서부 해안의 일부 고객만 겪은 팀즈 장애 때는 미국 서부 최대 1급 외상센터인 시더스사이나이 병원의 CIO가 먼저 입을 열었다. 규모는 작았지만 서로 연락이 닿지 않으면 사람이 죽는다는 말이었다. 그는 이런 문제를 안정적으로 막아 낼 방법이 아직 기술 수준에 존재하지 않기 때문에 연구가 필요하다고 강조했다.

질의응답에서는 AI가 어디까지 감당할 수 있는지가 쟁점이 됐다. 그는 경보를 관찰하고 과거 해결 이력을 참고해 사람을 호출하기 전에 밀리초 단위로 1차 대응을 하는 자동 운영에 이미 AI를 쓰고 있고, 사람이 개입한 사례는 강화 학습 데이터로 되돌아온다고 답했다. 다만 19개의 방어층이 차례로 뚫린 뒤에야 사용자에게 드러난 팀즈 장애를 예로 들며, 올바른 질문과 제약을 세우는 숙련된 사람의 역할은 줄어들지 않는다고 못 박았다. 환경 부담을 묻는 질문에는 모든 작업에 거대 프런티어 모델이 필요한 것은 아니며 소형 언어 모델과 단일 비트 수준의 양자화로 CPU에서도 처리할 수 있는 영역이 넓다고 답했고, 비용 절감의 여지는 데이터센터부터 알고리즘까지 전 구간에 있지만 가장 큰 몫은 열 번 호출할 것을 한 번으로 줄이는 상위 알고리즘 개선에서 나온다고 정리했다.

주요 인사이트

• 가용성이 곱해진다는 단순한 산수가 대규모 시스템의 설계 철학을 바꾼다. 개별 구성 요소를 더 튼튼하게 만드는 대신 고장을 전제로 계속 동작하는 구조를 짜야 한다.
• 평소 실행하지 않는 절차는 필요할 때 작동하지 않는다는 원칙은 재해 복구뿐 아니라 백업, 장애 대응 훈련, 롤백 절차 등 모든 예비 장치에 적용되는 기준이다.
• '10억분의 1 사건이 일상'이라는 표현은 확률이 낮다는 이유로 예외 처리를 생략하는 판단이 규모가 커질수록 위험해진다는 점을 정확히 짚는다.
• AI가 운영 자동화를 맡을수록 사람의 일은 사라지는 것이 아니라 질문을 세우고 허용 가능한 해답의 범위를 정의하는 쪽으로 옮겨간다.
• 환경 비용을 따질 때 서비스가 대체한 활동의 비용까지 함께 봐야 한다는 지적은, AI 인프라 논쟁에서 자주 빠지는 비교 기준을 상기시킨다.

자주 묻는 질문

관련 AI 소식