背景
眾所周知，業(yè)務(wù)高峰帶來(lái)的流量大幅增加會(huì )對系統造成巨大的壓力和風(fēng)險，就像消防局在火災高發(fā)期需要加強火災風(fēng)險關(guān)注一樣，貨拉拉也需要在高風(fēng)險時(shí)段投入更多資源識別和解決問(wèn)題。而業(yè)務(wù)高峰通常還具備一些特殊意義，往往伴隨著(zhù)公司業(yè)務(wù)目標的達成，如單日訂單破峰，如果因為系統故障導致目標未達成，影響也會(huì )非常惡劣。當前貨拉拉會(huì )經(jīng)歷各種業(yè)務(wù)高峰場(chǎng)景，像新業(yè)務(wù)開(kāi)城放量、優(yōu)惠權益秒殺、節前貨運需求激增等等，都要求系統具備高度穩定性和抗風(fēng)險能力。
自2020年下半年起，貨拉拉開(kāi)始系統化地進(jìn)行業(yè)務(wù)高峰保障，經(jīng)過(guò)三年多努力，技術(shù)團隊累計發(fā)起34次業(yè)務(wù)高峰保障，且自2021年以來(lái)連續三年多在業(yè)務(wù)高峰期間保持零故障記錄。接下來(lái)我將與大家分享在此過(guò)程中積累的實(shí)踐心得和思路。
一、業(yè)務(wù)高峰保障應該如何開(kāi)展？有哪些重難點(diǎn)？
1.1 明確業(yè)務(wù)高峰保障的目標
對于業(yè)務(wù)高峰穩定性保障，毫無(wú)疑問(wèn)，我們最重要的目標是確保期間不發(fā)生任何系統故障。除此之外，要與業(yè)務(wù)部門(mén)充分溝通，對齊要保障的具體業(yè)務(wù)目標。比如，確定用戶(hù)下單指標的具體目標數值是多少，100萬(wàn)還是200萬(wàn)。如果業(yè)務(wù)目標單量過(guò)于夸張，比如相比日常增長(cháng)100倍，那技術(shù)團隊肯定需要提前評估這一目標的可行性和成本。這樣，我們才能向業(yè)務(wù)部門(mén)提供準確信息，幫助他們做出合理決策。
除了上述目標之外，技術(shù)內部也有一些關(guān)鍵過(guò)程指標，比如系統的SLA表現、線(xiàn)上問(wèn)題的應急處理時(shí)效等。最后，難度較大的目標還是關(guān)于成本的目標管理，在發(fā)展初期，穩定性保障往往需要較大的投入，成本管理也是較容易被忽視的點(diǎn)。這方面需要思考的主要問(wèn)題，一個(gè)是我們在進(jìn)行保障工作的過(guò)程中，人效是否能有所提高；其次，在相同增長(cháng)規模下，服務(wù)器資源的單位投入是否有所降低：舉例來(lái)說(shuō)，如果之前業(yè)務(wù)高峰時(shí)，需要投入50萬(wàn)的服務(wù)器成本，那么下一次同樣的單量增長(cháng)情況下，投入的資源成本是不是能比之前要少？
1.2 業(yè)務(wù)高峰保障應該怎么開(kāi)展（項目管理的視角）
定好目標之后，就需要從項目管理的視角出發(fā)，來(lái)審視和規劃后續的工作。我們先來(lái)看下業(yè)務(wù)高峰保障的特點(diǎn)。穩定性保障項目相比一般項目來(lái)說(shuō)，參與的人數更多，涉及的部門(mén)跨度也更大。而且，業(yè)務(wù)高峰保障通常是一個(gè)不能延期的項目——有些業(yè)務(wù)開(kāi)城或許可以適當延期，但像雙11這樣的大型促銷(xiāo)活動(dòng)，以及貨拉拉隨著(zhù)市場(chǎng)需求增加而面臨的高峰，是不可能推遲的。因此，保障項目組在整個(gè)過(guò)程中扮演著(zhù)至關(guān)重要的角色。相比攻克技術(shù)難題，如何組織不同職能的人員共同達成目標可能更具挑戰性。
可以通過(guò)以下這些措施，確保項目管理視角下的保障工作有效開(kāi)展。
1）建立保障項目組。
明確組織矩陣——對于整個(gè)保障項目組，在一開(kāi)始就要明確保障工作的組織結構。需要確定引入哪些人員，以及這些人分別負責哪些領(lǐng)域的工作。
對齊保障節奏——由于這大多數是一個(gè)倒排期項目，必須安排好整個(gè)保障項目的周期，確保每個(gè)關(guān)鍵里程碑的達成。
2）業(yè)務(wù)輸入/更新。在整個(gè)大橫向組織的對接中，保障項目組承擔著(zhù)向上接收業(yè)務(wù)輸入和信息更新的任務(wù)。需要與業(yè)務(wù)部門(mén)對齊，明確業(yè)務(wù)高峰保障的具體時(shí)間、目標業(yè)務(wù)指標，以及可能發(fā)生的關(guān)鍵運營(yíng)動(dòng)作。3）任務(wù)輸出/驗收。這部分主要面向保障工作的實(shí)際執行者——技術(shù)研發(fā)，下發(fā)保障具體工作任務(wù)，并對整體完成情況進(jìn)行驗收。在這個(gè)過(guò)程中，會(huì )采用一些常規的項目管理手段。項目Kick-off，項目整體進(jìn)展定期溝通，包括保障大群、項目周例會(huì )等組織形式。
1.3 保障任務(wù)的具體內容（技術(shù)保障的視角）
從技術(shù)視角來(lái)看，整個(gè)業(yè)務(wù)高峰保障流程的核心是風(fēng)險管理，從風(fēng)險識別到風(fēng)險消除，確保沒(méi)有遺漏的風(fēng)險點(diǎn)，并為每個(gè)已識別的風(fēng)險制定解決方案。在主體層面，可以將風(fēng)險分為三個(gè)主要部分：公司內部、外部使用者、三方依賴(lài)。根據穩定性保障的通用經(jīng)驗，風(fēng)險類(lèi)別又可大致分為——容量風(fēng)險、變更風(fēng)險、鏈路風(fēng)險、人員風(fēng)險。結合風(fēng)險類(lèi)別和風(fēng)險主體，可以構建起整個(gè)技術(shù)保障的框架。
1）外部客戶(hù)。這方面可能帶來(lái)的主要風(fēng)險是流量沖擊，要求我們根據系統承載能力的上限，提前設定合理的限流閾值。
在容量風(fēng)險方面，除了進(jìn)行壓測和系統擴容，還需要準備充分的預案，包括提前的營(yíng)銷(xiāo)場(chǎng)景數據預熱和緊急情況下的降級預案。
變更管理是另一個(gè)關(guān)鍵點(diǎn)，我們通常會(huì )采取封網(wǎng)措施，規定在特定時(shí)間內不允許進(jìn)行任何變更。同時(shí)，也會(huì )在高峰前對核心變更內容進(jìn)行審查，避免已治理過(guò)的內容發(fā)生變動(dòng)，以確保保障工作的效果是可控的。
鏈路健壯性方面，重點(diǎn)關(guān)注服務(wù)風(fēng)險治理，包括各項超時(shí)、降級熔斷、依賴(lài)關(guān)系等等的合理性。完成治理后，我們將在關(guān)鍵點(diǎn)進(jìn)行攻防演練，以檢驗效果。
人員風(fēng)險同樣不容忽視。為避免在關(guān)鍵時(shí)刻找不到處理問(wèn)題的人，我們要求團隊提前安排好值班人員，并在高峰期間進(jìn)行系統巡檢和打卡。除此之外，設置小黑屋值班機制也是很有必要的，把各核心系統的關(guān)鍵負責人集中在一個(gè)大會(huì )議室里，方便快速溝通、將問(wèn)題消滅在萌芽階段。
3）三方依賴(lài)。這里特別要關(guān)注容量風(fēng)險和降級手段。由于三方容量采購流程通常較長(cháng)，需要確保提前準備到位。對于有備份或弱依賴(lài)的服務(wù)，要制定一鍵降級預案，并進(jìn)行演練驗證。另外在應急響應方面，也要提前通知所有廠(chǎng)商業(yè)務(wù)高峰期的時(shí)間，確保他們能夠提供必要的支持。
1.3.1 云商重保
三方依賴(lài)這里，我將就云服務(wù)商的保障重點(diǎn)展開(kāi)分享，因為云商的穩定性對完全上云的業(yè)務(wù)系統是至關(guān)重要的。①信息拉齊。貨拉拉會(huì )由專(zhuān)業(yè)的云資源團隊負責與云服務(wù)商對接。將業(yè)務(wù)高峰的信息拉齊是一開(kāi)始的關(guān)鍵，要確保所有相關(guān)人員都能充分理解和重視業(yè)務(wù)高峰保障的重要性。②資源備貨。提前備貨是最重要的事項，因為云商的資源并不是無(wú)限的，有些特殊規格的資源存量較小，需要提前與云商協(xié)調準備好所需的資源。
③資源預熱。在高峰期來(lái)臨前，某些資源可能需要進(jìn)行預熱。確保這些資源在高峰期前得到充分預熱，以防止資源短缺或性能問(wèn)題。
④機器巡檢。對底層物理機器進(jìn)行必要的巡檢工作，包括檢查硬件是否存在風(fēng)險。如果發(fā)現風(fēng)險，可以進(jìn)行硬件替換，以避免風(fēng)險在業(yè)務(wù)高峰期間爆發(fā)產(chǎn)生故障。
⑤聚合度管理。雖然服務(wù)架構和底層資源已經(jīng)做到盡可能隔離，但在物理機視角上的資源聚合度仍需關(guān)注。之前曾遇到云商只掛了一臺物理機，但對我們系統影響很大，主要原因就是許多核心實(shí)例都部署在了這臺機器上，聚合度太高。因此，我們要求云商定期掃描聚合度，如果發(fā)現聚合度過(guò)高的情況，要提前進(jìn)行資源打散操作。
⑥變更通知。盡管無(wú)法要求云商在業(yè)務(wù)高峰期封網(wǎng)，但可以盡可能要求他們在此期間提前通知任何變更動(dòng)作。這有助于提前準備，出現問(wèn)題后快速確認及處理，縮短影響時(shí)長(cháng)。
⑦應急值班。貨拉拉與主要依賴(lài)的兩個(gè)云商都有相關(guān)的應急溝通群，這些群組設在我們內部的辦公聊天軟件上，以提高溝通效率，減少使用微信、釘釘等多個(gè)平臺的麻煩。在一些重要的業(yè)務(wù)高峰期間（通常一年一兩次），還會(huì )要求云商提供駐場(chǎng)支持，確保得到最大力度的保障。
1.4 業(yè)務(wù)高峰保障的重點(diǎn)
最后再次回顧下整個(gè)保障思路中的兩個(gè)重點(diǎn)內容。
1.4.1 項目組織
必須高度重視項目組織工作。就像修建高樓需要各個(gè)工種通力合作一樣，項目的順利進(jìn)行也需要專(zhuān)業(yè)的PMO人員。在貨拉拉，有專(zhuān)業(yè)的PMO團隊負責整體項目的組織與協(xié)調，確保項目按計劃推進(jìn)并統籌解決實(shí)施過(guò)程中的各種問(wèn)題。由于項目涉及的人員眾多，可采用接口人機制。項目組與各部門(mén)接口人對齊，再由接口人與部門(mén)內部的具體實(shí)施者對接。這樣可以有效降低保障工作的復雜度，明確責任分工，提升溝通效率，確保信息準確傳遞和任務(wù)順利執行。
3）固定會(huì )議把控進(jìn)度
確保項目例會(huì )制度嚴格執行，以把控整體項目進(jìn)展。通過(guò)定期例會(huì )，各部門(mén)可以及時(shí)溝通任務(wù)進(jìn)展、分享工作經(jīng)驗、暴露過(guò)程風(fēng)險、提出訴求、協(xié)調資源配置等等，確保項目按計劃高質(zhì)量推進(jìn)。
1.4.2 系統容量
另一個(gè)重點(diǎn)，作為系統工程師，在高峰來(lái)臨前應當特別重視系統容量風(fēng)險。業(yè)務(wù)高峰意味著(zhù)流量的增加，如果系統健壯性不足，可能還有容錯空間，但如果容量不足，問(wèn)題一定會(huì )發(fā)生。在容量方面，應當關(guān)注以下幾點(diǎn)：
1）打好提前量
不論是三方容量還是云商資源，如果這一點(diǎn)有疏漏，當緊急需要資源時(shí)，將無(wú)計可施，大概率要犧牲業(yè)務(wù)或用戶(hù)體驗。
2）關(guān)注爬坡階段
與秒殺場(chǎng)景不同，貨拉拉的業(yè)務(wù)高峰在高峰當日會(huì )有一個(gè)緩慢的爬坡過(guò)程。在這段黃金時(shí)間內密切關(guān)注系統表現，迅速發(fā)現并解決短板容量問(wèn)題，可以大幅降低故障發(fā)生的概率。
3）為最壞的情況做好打算
如果容量保障做得不夠好，出了問(wèn)題，需要準備保大舍小，部分用戶(hù)可使用總比所有用戶(hù)都不能使用要好得多。例如，是否可以將流量做進(jìn)一步限制，以確保系統容量水位健康，或者根據前期準備進(jìn)行必要的業(yè)務(wù)功能降級。哪怕業(yè)務(wù)因為降級而減半或者用戶(hù)體驗大幅受損，也比完全崩潰要好。
二、貨拉拉具體是怎么做的？效果如何？
2.1 業(yè)務(wù)高峰保障的策略
- 首先，站在巨人的肩膀上，借鑒他人成功經(jīng)驗。如果完全靠自己摸索，效率會(huì )非常低。
- 其次，有意識做好本土化工作。因為從他人那里學(xué)來(lái)的知識或方法，不一定完全適用于自己的情況。
- 第三，必須不斷優(yōu)化。要通過(guò)不斷的復盤(pán)和優(yōu)化，確保每次都比上一次做得更好。
- 最后，保持激情至關(guān)重要。采用一些運營(yíng)手段來(lái)激發(fā)團隊的激情。相比簡(jiǎn)單地下達指令驗收執行效果，我們更傾向于激發(fā)大家的主動(dòng)意識。所有人自發(fā)地為即將到來(lái)的業(yè)務(wù)高峰考慮要做什么，能帶來(lái)更好的結果。
2.2 策略落地
2.2.1 如何站在巨人的肩膀上？
我之前在阿里本地生活有幾年工作經(jīng)驗，因此借鑒了阿里雙11大促的保障經(jīng)驗，快速建立起了貨拉拉業(yè)務(wù)高峰保障的初步方案。這樣做的好處是，確保了整個(gè)保障工作覆蓋的顆粒度足夠細致。阿里的保障經(jīng)驗已經(jīng)經(jīng)過(guò)了大量?jì)?yōu)化改良和實(shí)踐檢驗，可以有效避免重復別人已經(jīng)踩過(guò)的坑。
貨拉拉在業(yè)務(wù)穩定性保障發(fā)展初期只提供了一些高峰保障的待辦事項列表，對問(wèn)題的認知不夠全面?，F在已經(jīng)有了一套完整的保障框架體系，主要圍繞風(fēng)險預防和應急快恢兩大主題開(kāi)展。
2.2.2 如何做本土化改善？
我們在實(shí)踐過(guò)程中發(fā)現，按照最初的一套方案執行后，有些保障手段在貨拉拉的收益并不大，同時(shí)存在可能還沒(méi)有關(guān)注到一些風(fēng)險。因為相比電商大促，貨拉拉作為一個(gè)訂單撮合平臺，更關(guān)心供需特征訂單匹配。
展開(kāi)說(shuō)一下。業(yè)務(wù)高峰時(shí)，需求量通常比供給量要多很多。用戶(hù)下單量增長(cháng)迅猛，但能夠承接的訂單的司機數量不會(huì )一下子增加，甚至還可能減少，比如在五一前，有些司機可能選擇休假。這種運力不足的情況非常明顯，直接導致系統里待配對的訂單越來(lái)越多。對于待配對的訂單，我們的系統會(huì )有一些既有策略。例如，如果一個(gè)訂單發(fā)布后沒(méi)有人接單，系統會(huì )擴大搜索范圍，比如從10公里擴大到20公里，從而圈選到更多的司機重復推送這個(gè)訂單（實(shí)際策略要復雜很多）。所以在業(yè)務(wù)高峰運力不足場(chǎng)景下，系統的壓力增長(cháng)是非?？植赖?，單純依靠擴容代價(jià)太大。因此，我們將保障重心調整到了整個(gè)訂單調度系統的穩定性保障上。在研發(fā)團隊出色完成架構優(yōu)化的基礎上，結合著(zhù)相關(guān)場(chǎng)景降級預案的梳理和演練，比如最嚴重的情況下可以完全關(guān)閉重推邏輯以降低系統負載，現在我們面對這種場(chǎng)景具備非常充足的信心。
2.3 具體實(shí)施
2.3.1 時(shí)空維度上的策劃（宏觀(guān)視角）
首先，我們會(huì )進(jìn)行一個(gè)宏觀(guān)視角上的策劃。這個(gè)策劃工作主要是在年初時(shí)，就會(huì )列出全年會(huì )遇到的業(yè)務(wù)高峰和重大事件的時(shí)間表。這樣做的好處是，全年的保障工作計劃都能心中有數，能夠提前規劃好在大概什么時(shí)間需要開(kāi)展哪個(gè)業(yè)務(wù)高峰的保障工作，并給出消息提醒，避免遺漏。
2.3.1 圖1 - 貨拉拉全年大事件一覽表
其次，所有保障工作都會(huì )進(jìn)行文檔沉淀，將相關(guān)信息統一存放在一個(gè)共享空間中，方便查閱。
2.3.2 項目視角下的管理（執行落地）
從項目管理的視角出發(fā)，確保整個(gè)保障團隊的構成清晰明確。我們需要知道每個(gè)領(lǐng)域的接口人和負責人是誰(shuí)，他們主要負責哪些內容，以及整個(gè)領(lǐng)域的協(xié)作成員包括哪些人。
2.3.2 圖1 - 業(yè)務(wù)高峰保障組織
在明確了團隊成員和責任分配之后，我們會(huì )和各領(lǐng)域團隊成員進(jìn)行溝通，商討制定保障方案，并進(jìn)行KO會(huì )議。在會(huì )議中，我們會(huì )收集大家的反饋，看看方案中有哪些地方需要補充或改進(jìn)。
2.3.2 圖2 - 業(yè)務(wù)高峰保障方案框架
隨后，PMO會(huì )設立一個(gè)項目進(jìn)度看板，用來(lái)跟進(jìn)整個(gè)項目的進(jìn)度和完成情況。
2.3.2 圖3 - 業(yè)務(wù)高峰保障項目進(jìn)度看板
2.3.3 組織運營(yíng)提振士氣
高峰當日，我們會(huì )有一個(gè)被稱(chēng)為“小黑屋”的作戰室。在這里，會(huì )確定關(guān)鍵人員的名單、時(shí)間安排，以及一些物資的準備工作。這些準備工作包括為團隊成員安排下午茶等福利，以確保他們在緊張的工作中也能得到適當的休息和營(yíng)養補充。
其次，在保障工作結束后，我們也會(huì )注重儀式感。PMO會(huì )提前準備一些物料，比如橫幅、KT板等，組織大家一起進(jìn)行合影留念。這樣的活動(dòng)不僅能夠增強團隊的凝聚力，也能讓團隊成員對參與高壓力工作的辛苦付出有一個(gè)難忘的回憶。
2.2.4 復盤(pán)總結更進(jìn)一步
在業(yè)務(wù)高峰過(guò)后，第一件事就是開(kāi)展全面的復盤(pán)總結工作。
首先，我們會(huì )回顧目標達成情況。
接下來(lái)，我們會(huì )進(jìn)行兩個(gè)重要分析：1）對每一個(gè)保障子項進(jìn)行深入分析。檢查保障的目標是否達成，以及在治理過(guò)程中是否存在可以后續優(yōu)化的點(diǎn)。
2）收集復盤(pán)參與方的反饋和建議，幫助我們識別出后續改進(jìn)項。這些改進(jìn)項將被跟蹤并反饋到下一次的保障工作中。
2.2.5 踩過(guò)的一些坑
貨拉拉在業(yè)務(wù)高峰保障過(guò)程中，也遇到了一些教訓——
只關(guān)注研發(fā)服務(wù)發(fā)布配置變更，結果因為其他領(lǐng)域的變更出了問(wèn)題。之前在封網(wǎng)前只關(guān)注了研發(fā)自己服務(wù)的發(fā)布和配置變更。但問(wèn)題卻出在了其他領(lǐng)域的變更上，比如運營(yíng)的一些配置變更，或者是業(yè)務(wù)上的AB實(shí)驗變更，包括安全策略等的變更。后續我們把這類(lèi)變更也被納入了整個(gè)保障范圍。
- 有個(gè)服務(wù)和業(yè)務(wù)流量負相關(guān)，結果出現在了待擴容名單里。我們在容量管理方面一直做得還不錯，但在成本控制方面，確實(shí)也經(jīng)歷了一些摸索。比如有一個(gè)服務(wù)實(shí)際上與業(yè)務(wù)流量負相關(guān)，即業(yè)務(wù)單量越多，它的壓力反而越小。這個(gè)服務(wù)和訂單熱力圖有關(guān)，而訂單熱力圖的作用是告訴司機哪里更容易接到訂單。但在業(yè)務(wù)高峰時(shí)，司機其實(shí)并不缺單子，因此對熱力圖的訪(fǎng)問(wèn)量并不大。后來(lái)，我們對這類(lèi)服務(wù)實(shí)施了更精細化的管理。
- 縮容的時(shí)候沒(méi)有精打細算，如果縮掉特定的服務(wù)器，能更省錢(qián)。在縮容時(shí)，需要注意的不僅僅是擴容后的機器要縮容回來(lái)，更重要的是要思考縮容哪些機器才能更節省成本。因為擴容時(shí)擴的是新機器，但縮容時(shí)，并不一定非得縮容這些新擴的機器，而是可以選擇已經(jīng)在使用中的機器。這樣做會(huì )涉及到一些成本計算規則，能夠幫助節省更多的成本。在這方面，我們有專(zhuān)業(yè)的云成本團隊來(lái)幫助我們進(jìn)行管控。
3.3 業(yè)務(wù)高峰保障成效
經(jīng)過(guò)2020年至今3年多時(shí)間的建設，貨拉拉已經(jīng)具備了非常成熟的業(yè)務(wù)高峰保障能力。截止目前，貨拉拉技術(shù)穩定性團隊已累計發(fā)起34次業(yè)務(wù)高峰保障；且2021年至今，貨拉拉業(yè)務(wù)高峰期間已連續3年保持0故障水平。同時(shí)，業(yè)務(wù)高峰保障也幫助強化了日常穩定性水平，貨拉拉全年故障數也在逐年下降。
3.3 圖 - 貨拉拉全年故障數逐年下降
三、總結與展望
未來(lái)的目標之一是逃不掉的降本增效，我們主要關(guān)注兩方面的成本——
- 資源成本。各系統擴容資源的精細化管理；極致把控服務(wù)器資源使用天數，明確資源回收對象；
- 人力成本。加強各保障工作的工具化能力；關(guān)注多平臺間的聯(lián)動(dòng)，打造流水線(xiàn)式的穩定性保障產(chǎn)品生態(tài)。
另一個(gè)目標是實(shí)現高峰保障的日?；?。每次高峰保障都是對整體技術(shù)穩定性的一次加固，也是對日常治理工作的一次反哺。未來(lái)在提效的基礎上，應該把風(fēng)險識別風(fēng)險治理手段放到每一天來(lái)做，自然可以極大提高全年系統穩定性水平。
