AWS US-East-1 대규모 장애 15년사, 6번의 붕괴가 남긴 교훈

핵심 메시지

• AWS의 북버지니아 US-East-1은 최초의 리전이자 기본값이 되며 인터넷 트래픽의 약 30~50%가 몰린 것으로 추정된다.
• 2011년 이후 15년간 이 한 지역에서만 성격이 전혀 다른 6번의 대형 장애가 반복됐다.
• 네트워크 설정 실수, 폭풍, S3 명령어 오타, 키네시스 변경, 람다 장애, 다이나모DB DNS 자동화 경합 등 원인은 매번 달랐다.
• 장애를 진단·복구해야 할 관리 콘솔과 상태 대시보드마저 같은 인프라에 의존해 함께 마비되는 일이 반복됐다.
• 한 지역에 인터넷이 과도하게 집중돼 있어, 그곳에서 문제가 생길 때마다 전 세계가 동시에 영향을 받는다.

쉽게 이해하기

영상은 2025년 10월 20일 아침, 병원 진료 기록이 열리지 않고 항공 탑승권 발급이 멈추며 코인베이스·슬랙·스냅챗 등 수많은 서비스가 동시에 다운된 장면으로 시작한다. 사이버 공격도 자연재해도 아닌, 버지니아주 애시번 데이터센터 안 두 소프트웨어 프로세스 사이의 타이밍 문제가 원인이었고, 이는 같은 지역에서 벌어진 여섯 번째 대형 장애였다.

US-East-1은 AWS가 가장 먼저 만든 리전으로, S3·EC2·다이나모DB·람다 같은 핵심 서비스가 이곳에서 처음 구축·테스트됐다. 그 결과 사실상의 기본값이 됐고, 오늘날 인터넷 트래픽의 30~50%가 이 한 지역을 통과하는 것으로 추정된다고 영상은 설명한다.

장애의 계보는 다양하다. 2011년에는 네트워크 업그레이드 중 방향을 반대로 설정한 실수가 EBS의 연쇄 재미러링 피드백 루프를 일으켜 나흘간 복구가 걸렸다. 2012년에는 폭풍으로 발전기 전환 스위치가 오작동했는데, 넷플릭스는 카오스 몽키로 미리 장애를 연습해 둔 덕에 자동으로 트래픽을 옮겨 살아남았다.

2017년에는 S3 엔지니어의 명령어 오타로 인덱스 서브시스템이 통째로 제거돼 수많은 앱이 멈췄고, 상태 대시보드마저 S3에 올려져 있어 장애 상황을 표시하지 못했다. 2020년 추수감사절 전날에는 키네시스 변경이 IAM·코그니토·클라우드워치로 번졌고, 2021년에는 알렉사·링·룸바는 물론 아마존 자체 물류까지 흔들렸다.

2025년 장애는 다이나모DB의 DNS 레코드를 관리하는 자동화에서 두 중복 구성요소가 드문 경합 조건에 부딪혀 엔드포인트 주소가 삭제되며 시작됐다. 데이터가 아니라 주소가 사라지자 이를 참조하던 EC2 등 다른 서비스가 줄줄이 멈췄고, 복구는 순서를 지켜 진행하느라 14시간이 걸렸다.

주요 인사이트

• 복잡한 시스템은 예측한 방식이 아니라, 미처 대비하지 못한 방식으로 실패한다는 점이 여섯 장애의 공통 교훈이다.
• 장애를 고쳐야 할 도구(관리 콘솔·상태 대시보드)가 장애 대상과 같은 인프라에 의존하면, 문제 자체가 복구 수단을 무력화한다.
• 넷플릭스 사례처럼 평소에 의도적으로 장애를 일으켜 대비(카오스 엔지니어링)한 조직만이 실제 장애에서 차이를 만들었다.
• 편의 때문에 한 지역에 의존이 집중되면, 개별 사고가 곧바로 전 세계 규모의 사고로 증폭된다.

자주 묻는 질문

관련 AI 소식