就算沒有暴雨，在云時(shí)代，人們對宕機(jī)的容忍度也越來越小，這對數(shù)據(jù)中心容災(zāi)的能力提出了新挑戰(zhàn)。

文 | 吳俊宇 顧翎羽

編輯 | 謝麗容

“上云”已是共識(shí)，但云計(jì)算在自然界的“云”面前依舊脆弱。

7月18日18時(shí)開始，河南鄭州出現(xiàn)罕見持續(xù)強(qiáng)降水天氣過程。強(qiáng)降雨導(dǎo)致當(dāng)?shù)囟鄥^(qū)域電力、電信基礎(chǔ)設(shè)施受到影響。云服務(wù)需要24小時(shí)在線，電力是其基礎(chǔ)。斷電的直接結(jié)果是，云服務(wù)受到了不同程度的沖擊。

7月21日，中國移動(dòng)公告稱，河南部分地區(qū)受極端天氣影響，樞紐機(jī)房斷電，目前無法正常辦理移動(dòng)業(yè)務(wù)。

當(dāng)天，河南本地一家名為海騰數(shù)據(jù)的服務(wù)商也在官網(wǎng)掛出數(shù)據(jù)中心受影響的通知。該公司稱，機(jī)房由柴油發(fā)電帶載，附近油站因道路積水導(dǎo)致無法供油到機(jī)房?？紤]到存儲(chǔ)油量有限，市電恢復(fù)時(shí)間不確定，建議用戶緊急備份數(shù)據(jù)，或遠(yuǎn)程關(guān)機(jī)以避免數(shù)據(jù)受損。

7月22日，《財(cái)經(jīng)》記者致電多位海騰數(shù)據(jù)人士得知，其服務(wù)依舊尚未完全恢復(fù)。出問題的鄭州機(jī)房已有十余年歷史，存儲(chǔ)了當(dāng)?shù)卣?、企業(yè)的數(shù)據(jù)。

此外，中國聯(lián)通、中國電信也不同程度受到了影響。部分互聯(lián)網(wǎng)公司在鄭州的服務(wù)器節(jié)點(diǎn)出現(xiàn)波動(dòng)。老牌網(wǎng)絡(luò)原創(chuàng)文學(xué)平臺(tái)晉江文學(xué)在7月20日發(fā)布公告稱，主要網(wǎng)站業(yè)務(wù)所在的異地骨干機(jī)房在鄭州市，機(jī)房因?yàn)楸┯晖ｋ姇簳r(shí)靠備用發(fā)電機(jī)供電，部分線路會(huì)有不穩(wěn)定現(xiàn)象。這意味著，短時(shí)間內(nèi)，晉江文學(xué)的一部分服務(wù)和用戶將受到波及。

在中國企業(yè)在“上云”越來越普遍的情況下，云基礎(chǔ)設(shè)施的7×24小時(shí)運(yùn)轉(zhuǎn)顯得愈發(fā)重要。公司規(guī)模越大，用戶越多，宕機(jī)造成的服務(wù)中斷將引發(fā)越嚴(yán)重的后果。鄭州暴雨前一周，B站、A站、豆瓣、晉江文學(xué)也曾因服務(wù)器故障服務(wù)長時(shí)間中斷。尤其是中國最大的視頻社區(qū)平臺(tái)B站的宕機(jī)，在全網(wǎng)引發(fā)轟動(dòng)。

人們對云宕機(jī)的容忍度幾乎到了無法容忍的地步了。“水電煤”是生活必需品，云作為新一代的“水電煤”，也斷不起。數(shù)據(jù)中心作為云計(jì)算的基礎(chǔ)設(shè)施，和發(fā)電廠、自來水廠一樣舉足輕重。

自然災(zāi)害不可抗拒，但除了緊急啟動(dòng)保護(hù)措施，數(shù)據(jù)中心其實(shí)在災(zāi)害發(fā)生前有一整套“容災(zāi)備災(zāi)”的機(jī)制。如何建立這套機(jī)制，正是這次暴雨留下的最大教訓(xùn)。

01

被暴雨沖擊的“云”

此次鄭州暴雨來的又急又猛。

鄭州市氣象臺(tái)數(shù)據(jù)顯示，18日-20日三天降雨量617.1mm。鄭州常年平均全年降雨量為640.8mm。這意味著三天下了以往一年的量。

暴雨以及隨之而來的內(nèi)澇直接導(dǎo)致電力設(shè)備崩潰了。鄭州市區(qū)一座110千伏變電站被迫停止運(yùn)行，部分區(qū)域生產(chǎn)生活用電受到影響。通信運(yùn)營商是重要的受影響對象。鄭州暴雨致多處通信網(wǎng)絡(luò)中斷。截至7月21日10時(shí)，鄭州移動(dòng)基站停電3563個(gè)，基站退服3152個(gè)。這還不包括當(dāng)?shù)氐穆?lián)通和電信。

如此暴雨下，云基礎(chǔ)設(shè)施也很難獨(dú)善自身。

事實(shí)上，和北京、東部沿海、南部沿海城市相比，位于中部地區(qū)的鄭州并非云廠商數(shù)據(jù)中心的集中所在地。阿里云、騰訊云、百度云均未在此建設(shè)數(shù)據(jù)中心，也沒有關(guān)鍵節(jié)點(diǎn)。

但鄭州本地有多家云服務(wù)代理商，包括景安網(wǎng)絡(luò)、海騰數(shù)據(jù)、億恩網(wǎng)絡(luò)、騰佑科技等公司。它們通常提供服務(wù)器托管、IDC加速等云計(jì)算周邊服務(wù)。它們在中原地區(qū)很重要，甚至被一些三方研究報(bào)告稱為本地IDC龍頭企業(yè)。

簡單理解，大型云廠商在全國重要區(qū)域會(huì)建設(shè)云計(jì)算的“大腦”和“骨架”，但在無法全面覆蓋的其他區(qū)域，這些代理商則是提供了“血管”或是“毛細(xì)血管”的服務(wù)。

值得注意的是，他們大多位于鄭州高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)，也就是這次暴雨核心影響區(qū)域之一。

有消息稱，暴雨發(fā)生后，海騰數(shù)據(jù)在其官網(wǎng)掛出了數(shù)據(jù)中心受到影響的通知。該公司建議用戶緊急備份數(shù)據(jù)，或遠(yuǎn)程關(guān)機(jī)以避免數(shù)據(jù)受損。記者致電海騰數(shù)據(jù)相關(guān)人士得知，斷電之后，其柴油發(fā)電設(shè)備隨即上線，但供油量不足，無法覆蓋所有服務(wù)器。

受影響的還有景安網(wǎng)絡(luò)，《財(cái)經(jīng)》記者致電景安網(wǎng)絡(luò)人士得知，其機(jī)房位于鄭州東部的高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)。20日下午16時(shí)，斷電導(dǎo)致服務(wù)器下線。截至7月21日下午18點(diǎn)，該公司已經(jīng)通過柴油發(fā)電機(jī)緊急供電，但服務(wù)依舊不穩(wěn)定。

前述的另一家鄭州本地IDC服務(wù)商情況類似。這家公司也在鄭州高新區(qū)。該公司有技術(shù)人士證實(shí)，其服務(wù)也因斷電受到?jīng)_擊。好在公司服務(wù)器都在二樓，沒有被泡，不會(huì)因暴雨而不可挽回。

一位頭部云廠商資深技術(shù)人士解釋說，服務(wù)器被浸泡會(huì)直接導(dǎo)致服務(wù)中斷，設(shè)備受損。嚴(yán)重情況下，IT設(shè)備可能直接報(bào)廢。其中的數(shù)據(jù)也會(huì)遭遇無可挽回的丟失。

該技術(shù)人士認(rèn)為，通常情況下，云廠商對數(shù)據(jù)中心的選址、建造都有考慮，容災(zāi)備災(zāi)技術(shù)能力相對較強(qiáng)。數(shù)據(jù)中心用電會(huì)有一套三級(jí)保護(hù)機(jī)制，除了正常供電外還有柴油發(fā)電、蓄電池，可以保證全年不間斷供電。為避免暴雨、洪災(zāi)的影響，服務(wù)器通常會(huì)放在二樓以上。

不過，這次鄭州暴雨強(qiáng)度太大，直接導(dǎo)致鄭州本地部分服務(wù)商三級(jí)保護(hù)失效了。

首先是城市大規(guī)模、長時(shí)間斷電。中國電網(wǎng)鄭州供電公司此前在面對媒體“停電搶修為何這么久”的疑問時(shí)回應(yīng)，大水浸泡過后的受損電力設(shè)備都需要搶修后重新做實(shí)驗(yàn)，保證安全的情況下才能送電。云服務(wù)商機(jī)房里的柴電設(shè)備、備用電源在長時(shí)間斷電的情況下，不敢給所有機(jī)房同時(shí)開足馬力。

另外，部分公司的柴電設(shè)備、備用電源均被特大暴雨“一鍋端了”。前述鄭州本地IDC服務(wù)商一位技術(shù)人士說，公司柴電設(shè)備在戶外、備用電源智能撐1小時(shí)-2小時(shí)。暴雨襲來，一樓被泡，發(fā)電機(jī)和電源都派不上用場，兩個(gè)大機(jī)房都受到了影響。

其中還包含少部分人為因素。一位資深技術(shù)人士告訴《財(cái)經(jīng)》記者，一些嚴(yán)格的做法是，服務(wù)器、IDC機(jī)房會(huì)擺放規(guī)則，還會(huì)限制服務(wù)器的數(shù)量、擺放密度，以及備用電源的所在區(qū)域。目的就是避免出現(xiàn)“一鍋端”現(xiàn)象，但這樣成本會(huì)高很多。除了電信運(yùn)營商的大型機(jī)房，大部分中小型企業(yè)會(huì)選擇低成本模式。

云計(jì)算服務(wù)中斷往往會(huì)連帶造成客戶損失。當(dāng)問及客戶損失要如何處理時(shí)，景安網(wǎng)絡(luò)相關(guān)人士表示，目前已經(jīng)多次接到相關(guān)反饋，公司會(huì)予以處理。上述鄭州本地IDC服務(wù)商技術(shù)人士則稱，暫時(shí)無法預(yù)估哪些客戶受到了何種程度的沖擊，也不知如何賠付。目前只能先考慮恢復(fù)服務(wù)。

《財(cái)經(jīng)》記者查閱政府采購網(wǎng)、部分企業(yè)合同發(fā)現(xiàn)，關(guān)于服務(wù)器托管部分，往往一般會(huì)有一項(xiàng)“不可抗力條款”。不可抗力通常指地震、臺(tái)風(fēng)、火災(zāi)、水災(zāi)、戰(zhàn)爭、罷工以及其他雙方共同認(rèn)同的不能預(yù)見、不能避免并不能克服的客觀情況。

部分“不可抗力”引發(fā)的事故被視為甲乙雙方均不用承擔(dān)責(zé)任。但在部分合同中，不可抗力引發(fā)的事故有嚴(yán)格的分級(jí)指標(biāo)，而且服務(wù)商需要承擔(dān)不同級(jí)別的責(zé)任。

7月22日，《財(cái)經(jīng)》記者再次致電景安網(wǎng)絡(luò)和上述鄭州本地IDC服務(wù)商。對方回應(yīng)稱電力供應(yīng)暫時(shí)尚未恢復(fù)，目前柴電設(shè)備處于滿負(fù)載狀態(tài)。好在鄭州大雨已經(jīng)暫停，預(yù)計(jì)22日內(nèi)可恢復(fù)服務(wù)。

02

好的防御機(jī)制越來越重要

云計(jì)算中心的事故通常是天災(zāi)人禍綜合因素的結(jié)果。

鄭州并非全國核心數(shù)據(jù)中心主要聚集地。此次暴雨雖然受到了一定沖擊，好在沖擊并未造成重大事故，尚在可接受范圍內(nèi)。

歷史上，亞馬遜、三星，歐洲最大的云服務(wù)和網(wǎng)絡(luò)托管服務(wù)運(yùn)營商OVH都遭遇過重大事故，甚至部分事故引發(fā)了不可挽回的嚴(yán)重后果。

2012年7月，美國東海岸大型雷電風(fēng)暴導(dǎo)致中部各州斷電。亞馬遜一數(shù)據(jù)中心因此暫停服務(wù)。這導(dǎo)致Netflix、Instagram、Pinterest以及Tinder等多個(gè)美國國民級(jí)App癱瘓。

2014年4月，三星在韓國首爾郊區(qū)果川的機(jī)房發(fā)生重大火災(zāi)。三星官網(wǎng)因此暫時(shí)癱瘓，部分手機(jī)用戶的服務(wù)也受到了影響。

2021年3月，歐洲云計(jì)算巨頭OVH位于法國斯特拉斯堡的機(jī)房發(fā)生嚴(yán)重火災(zāi)。大火導(dǎo)致了五層高、占地 500 平方米的 SBG2 數(shù)據(jù)中心被燒毀。這直接引發(fā)1.5萬名客戶的資料可能受到影響，部分客戶數(shù)據(jù)完全丟失且無法恢復(fù)，其中還包括法國政府的部分?jǐn)?shù)據(jù)。

這類重大安全事故在國內(nèi)目前相對少見，但并不排除未來會(huì)出現(xiàn)。隨著國內(nèi)上云速度進(jìn)一步加快，如何避免重大安全事故，保證基礎(chǔ)設(shè)施穩(wěn)定運(yùn)行將是一個(gè)重要核心議題。

此前多家云廠商管理與技術(shù)人士曾對《財(cái)經(jīng)》記者表示，數(shù)據(jù)中心安全保護(hù)不可能靠臨時(shí)抱佛腳解決，全靠形成一整套完整的選址、防護(hù)、備災(zāi)以及容災(zāi)機(jī)制。

其中一位騰訊基礎(chǔ)架構(gòu)部人士說，“這套機(jī)制就像在一個(gè)可能會(huì)決堤的河流上提前修起大壩。我們應(yīng)該靠機(jī)制減少抗洪搶險(xiǎn)的現(xiàn)象。”

建立選址、備災(zāi)、防護(hù)體系是為了讓數(shù)據(jù)中心有一套“安全網(wǎng)”。比如，頭部云廠商選址時(shí)會(huì)統(tǒng)籌考慮自然因素。數(shù)據(jù)中心通常會(huì)遠(yuǎn)離地震、洪水等災(zāi)害多發(fā)地。不能避免這個(gè)問題的話，也有解決措施。比如，在火災(zāi)高發(fā)地，洪災(zāi)高發(fā)地都有不同建設(shè)方案。

“不同數(shù)據(jù)中心的備災(zāi)措施需要根據(jù)當(dāng)?shù)氐淖匀画h(huán)境各方面去統(tǒng)籌考慮。”阿里IDC事業(yè)部總經(jīng)理高山淵說，設(shè)計(jì)備災(zāi)措施時(shí)，方案如何執(zhí)行、誰去執(zhí)行只是基本考慮因素。備用設(shè)備的狀態(tài)切換時(shí)間、啟動(dòng)成功率等細(xì)致因素都需要一一想到。這都是盡量提高備用設(shè)施的啟動(dòng)概率。

容災(zāi)則是形成了容錯(cuò)機(jī)制。“多點(diǎn)多活”是其中的重要辦法。簡單說，就是讓數(shù)據(jù)長出“三頭六臂”，砍掉一個(gè)之后，依然可以正常運(yùn)轉(zhuǎn)?；蚴亲屢粋€(gè)面臨重大災(zāi)害的人被瞬間傳送到其他安全場所。

阿里云數(shù)據(jù)中心能源與碳管理專家毛宏舉向《財(cái)經(jīng)》記者解釋，保障數(shù)據(jù)中心和云服務(wù)的可靠性，不僅需要保障硬件，軟件層面也要有備份，“相當(dāng)于云服務(wù)的容錯(cuò)機(jī)制”。即使在最糟糕的情況下，一處數(shù)據(jù)中心出現(xiàn)故障，也可以把這部分負(fù)載切到其他地方。

一位百度云人士則透露，百度業(yè)務(wù)是多地域容災(zāi)部署(華北/華東/華南三地域)，數(shù)據(jù)在每個(gè)地域都有副本，同時(shí)還有離線遠(yuǎn)程備份，能容忍單個(gè)地域出現(xiàn)的極端災(zāi)害。

也有騰訊基礎(chǔ)架構(gòu)部人士此前對《財(cái)經(jīng)》記者稱，騰訊春晚保障團(tuán)隊(duì)其實(shí)就是在反復(fù)練兵。前些年，各個(gè)頭部互聯(lián)網(wǎng)公司的“容災(zāi)備災(zāi)”在春晚紅包活動(dòng)中得到了沉淀。

實(shí)戰(zhàn)才是檢驗(yàn)各個(gè)云廠商“容災(zāi)備災(zāi)”最佳方式。不過，沒人會(huì)希望這一天真正到來。