OVH 服务器机房在斯特拉斯堡的火灾影响了世界上许多公司,包括我们的公司,并通过我们影响了您和您的客户。
为了更好地了解整个事件及其对我们系统的影响,我们决定汇总我们目前掌握的信息。我们描述了事件的经过、我们之前准备的应急方案、故障减排期间的工作进展以及最重要的,未来的安全计划。
我们希望通过这些信息,整个情况能够更加透明,并且我们采取的行动能够得到充分理解。
故障 2021年3月10日
3月10日凌晨,OVH 服务器机房在斯特拉斯堡发生了非常严重的火灾。由于这是欧洲最大的此类数据中心之一,火灾导致全球超过360万网站停运。该故障影响了许多网店、新闻网站、银行和政府网站 – 包括法国、英国和波兰。不幸的是,Base.com 也在受影响的公司之列。
OVH 是欧洲知名的服务器供应商。我们多年来一直使用这家托管服务商,并对其充满信任。数据存储在 OVH 提供的最昂贵的机器之一(最新硬件系列)上。虽然火灾没有直接影响我们的服务器,但由于整个区域的关闭,访问暂时受到限制。根据我们的了解,如此长时间的单一服务器机房故障是史无前例的。
在我们得知火灾的第一时间,启动了内部数据恢复程序,并立即开始搭建新的服务器基础设施,无需等待 OVH 的信息。
对于绝大多数用户,我们在不到两天的时间内恢复了系统的关键部分——故障发生在周三3月10日凌晨4点,系统在周四3月11日下午2:30恢复了 Panel-B,晚上11:30 恢复了 Panel-A。用户归属到哪个面板是根据注册帐户的顺序决定的。
根据我们的统计数据,3月12日星期五,大多数用户已经按正常数量打包订单,订单被实时下载。系统的一些较小功能在接下来的几天内才逐步恢复。然而,我们优先确保系统的主要功能——订单管理器——尽快恢复。
不幸的是,对于部分用户(Panel-C),由于 OVH 服务器机房的额外操作,账户访问受到暂时限制。为了让 Panel-C 用户能够继续处理当前的销售,我们准备了在 Panel-D 上开设临时帐户的选项。
在正常情况下,设置一个新面板需要数周的准备——在这种特殊情况下,我们尽一切努力使其在故障发生的第二天就准备就绪。
安全程序——数据备份
从收到故障的第一条消息开始,我们就启动了安全程序,开始恢复系统的全面运行。
数据安全对我们至关重要,因此我们建立了一个基于备份系统的解决方案。我们在斯特拉斯堡的所有面板服务器都拥有所谓的镜像服务器,也就是自动替换的副本,在发生故障时实时切换(从主服务器故障到切换到备用/镜像服务器的时间仅为几秒)。
3月10日的事件迫使我们实施了最困难的应急方案——从备份恢复系统。虽然我们的主服务器和镜像服务器在火灾中没有损坏,但它们作为相关区域被 OVH 禁用。由于暂时无法访问斯特拉斯堡的数据,我们使用了位于华沙的备份。由于数据量庞大,实施过程无法立即完成。
我们的团队尽职尽责。在我们自己和外部专家的帮助下,我们在短短数小时内通过现有的备份建立了替代的系统基础设施。
故障对我们的影响
我们知道,OVH 机房火灾对您的工作产生了影响。我们自己也遭受了严重的影响,无论是形象上还是财务上。
我们尽可能快地建立了新的基础设施,不计成本。我们争分夺秒,尽快恢复系统并将其提供给我们的用户。由于我们迫切需要新的高效基础设施,其成本非常高。我们选择了 AWS(Amazon Web Services)——一个可以在几分钟内提供服务器的知名供应商。我们立即选择了市场上最强大的机器,以便在系统尚未优化的情况下拥有足够的处理能力。
在此期间,整个团队都非常努力,甚至通宵达旦,包括周末,只专注于处理故障问题。这是我们在这种情况下完全自然的内部努力。
我们公司因处理故障所产生的实际费用已经达到数十万波兰兹罗提。
以上信息仅用于展示事件的完整背景。这次故障影响了所有人,也包括 Base.com 作为一家公司,而不仅仅是一个系统。在正常情况下,我们会专注于系统的开发和新功能,但由于故障,我们所有的资源都集中在稳定系统上。我们的专家在极短的时间内重建了多年来建立的基础设施。
未来的系统安全措施
我们遇到了一个极为罕见的情况,现代社会中不应该发生这样的事件——OVH 机房的一部分被烧毁,作为欧洲主流托管服务供应商的领导者。
尽管事件是偶然的,但我们决定建立更强的安全网络。我们采取的措施远远超出了此类安全标准的常规做法。没有人会像经历过这种情况的人那样做好准备。
我们通过信息图展示了我们的安全策略——我们鼓励您查看它。
>>> 点击此处查看信息图 在新窗口中打开<<<
此外,我们希望每位 Base.com 用户——如果有需要——能够更轻松地创建自己的备份。
我们开发了一项新功能——Google Drive 备份。这是与 Google Drive 磁盘的集成,允许每晚将订单、收据、发票等信息发送到自己的磁盘。
如果对部分用户来说这仍然不足以满足需求,还可以更进一步,设置 Google Drive 与其电脑或 NAS 磁盘的同步。这样,即使在本地(如办公室的电脑磁盘上)也可以创建每日数据备份。
感谢您的支持
亲爱的用户们,我们希望上述信息能为您提供对这一复杂情况的更广泛理解。
我们非常抱歉因系统中断给您带来的任何不便和困难。
我们的目标是提供最高质量的服务,因此我们在工具、安全措施以及自身发展方面进行投资,以提供最好的产品和电子商务支持。
作为整个 Base.com 团队,我们诚挚感谢您的理解、耐心、善意的言语以及自故障发生以来您给予我们的所有支持。