阿里云时隔一年再现大规模故障，云厂商宕机事故频发

简介

2023年双十一刚刚落幕，阿里云故障导致阿里系App全线“崩”上热搜，涉及到阿里云盘、淘宝、咸鱼、钉钉、语雀等等产品。

问题原因

故障概况

• 时间线： 故障始于11月12日傍晚，历时3个半小时。
• 影响范围： 多个地域、全球多可用区、数百个产品及服务受影响。
• 故障原因： 与某底层服务组件（可能为鉴权服务）有关。

故障处理过程

1. 监测与确认： 17:44分监控异常，工程师介入调查。
2. 定位问题： 17:50分确认底层服务组件故障，紧急处理。
3. 逐步恢复： 18:54分开始逐步恢复，各地域控制台陆续恢复。
4. 异常管控： 19:43分完成异常管控服务组件重启，除个别云产品外，大部分服务已恢复。
5. 数据延迟： 21:11分宣布故障恢复，但影响部分云产品数据可能存在延迟推送。

受影响范围

• 产品线： 计算、容器、存储、网络与CDN、安全、中间件、数据库、大数据计算、人工智能与机器学习、媒体服务、企业服务与云通信、物联网、开发工具、迁移与运维管理等。
• 地域： 包括多个国家和地区。

故障原因分析

• 底层服务组件故障： 与某底层服务组件（可能为鉴权服务）相关。
• 鉴权服务重要性： 鉴权服务是云计算基础要求之一，负责权限控制和资源隔离。

本次经验教训

1. 依赖性问题： 本次事件突显了对云服务的全球性依赖，其故障对用户、企业和公共服务造成了不同程度的影响。
2. 多云备份： 行业应认识到多云备份的紧迫性，以减轻对单一云服务的依赖。
3. 故障响应与通告： 阿里云在故障发生后迅速响应，提供了详细的时间线和处理过程。其他云服务提供商可借鉴此类故障处理方式，加强透明度和沟通。
4. 底层服务稳定性： 对于云服务提供商而言，底层服务的稳定性至关重要。阿里云需对底层服务组件进行深入审查，以防止未来类似事件的发生。

结论

此次事件突显了全球云服务的脆弱性，强调了对于底层服务组件的重要性。行业需要在保障服务可靠性的同时，加强多云备份措施，以降低单一云服务故障对用户和企业的影响。此类事件也提醒云服务提供商不断优化底层基础设施，以确保稳定性和可靠性。