作者：郭濤
今年，美國(guó)知名項(xiàng)目管理研究雜志PM Network將“天貓雙11”與互聯(lián)網(wǎng)、阿波羅登月、人類基因組計(jì)劃等并列，共稱為世界上TOP50最有影響力的項(xiàng)目。“雙11”不僅改變了人們購(gòu)物的方式，而且打通了商業(yè)與娛樂(lè)。
因?yàn)榭梢詭?lái)數(shù)倍于平常的流量和銷售額，所以每年的“雙11”到來(lái)時(shí)，各路零售商們都會(huì)“如臨大敵”,嚴(yán)陣以待。在極限高并發(fā)訪問(wèn)的情況下，在線交易系統(tǒng)、支付系統(tǒng)等能否經(jīng)受得住考驗(yàn)?zāi)?
每日優(yōu)鮮運(yùn)維總監(jiān)周鋒
最初幾年，因?yàn)閷?duì)“剁手黨們”在“雙11”期間的購(gòu)買程度估計(jì)不足，曾經(jīng)出現(xiàn)過(guò)個(gè)別商家的系統(tǒng)不堪重負(fù)而宕機(jī)的情況。近幾年 “雙11”期間這種系統(tǒng)宕機(jī)的新聞越來(lái)越少，因?yàn)楦魃碳以?ldquo;雙11”到來(lái)前已經(jīng)做好了充足的準(zhǔn)備。被譽(yù)為“最懂吃貨心的電商”——每日優(yōu)鮮，在今年的“雙11”到來(lái)前差不多兩個(gè)月就開(kāi)始了各項(xiàng)準(zhǔn)備工作，所以真正在“雙11”期間，其業(yè)務(wù)系統(tǒng)沒(méi)有出現(xiàn)任何問(wèn)題，安然度過(guò)。在UCloud于11月23日舉行的UClub新零售技術(shù)沙龍上，每日優(yōu)鮮運(yùn)維總監(jiān)周鋒用8個(gè)字概括了他今年的“雙11”體驗(yàn)：無(wú)驚無(wú)險(xiǎn)，風(fēng)平浪靜。
外松內(nèi)緊，不打無(wú)準(zhǔn)備之仗
真的是無(wú)驚無(wú)險(xiǎn)，風(fēng)平浪靜嗎?其實(shí)，正是因?yàn)槊咳諆?yōu)鮮公司高層的充分重視，運(yùn)維、研發(fā)、業(yè)務(wù)等各個(gè)部門協(xié)調(diào)一致，以及云服務(wù)商UCloud的支持，每日優(yōu)鮮在面對(duì)“雙11”這場(chǎng)大考時(shí)才會(huì)氣定神閑。
或許，用“外松內(nèi)緊”四個(gè)字來(lái)形容每日優(yōu)鮮備戰(zhàn)“雙11”會(huì)更恰當(dāng)。俗話說(shuō)，兵馬未動(dòng)，糧草先行，為了從容應(yīng)對(duì)“雙11”，資源準(zhǔn)備必須先行。最近兩年，每日優(yōu)鮮都是按照周六日交易峰值的4倍為“雙11”設(shè)定余量。為了消除不同區(qū)域在不同時(shí)間段的交易峰值，運(yùn)維團(tuán)隊(duì)還要時(shí)刻準(zhǔn)備著，根據(jù)實(shí)時(shí)交易情況削峰填谷。
從9月20到10月31日，每日優(yōu)鮮針對(duì)“雙11”期間可能出現(xiàn)的各種情況和需求，從業(yè)務(wù)運(yùn)營(yíng)、架構(gòu)運(yùn)營(yíng)、系統(tǒng)運(yùn)營(yíng)等多個(gè)維度進(jìn)行了全面梳理，并針對(duì)可能會(huì)出現(xiàn)瓶頸的地方進(jìn)行了詳細(xì)了解，準(zhǔn)備預(yù)案，尤其是進(jìn)行了一系列高強(qiáng)度、全方位的壓力測(cè)試。據(jù)周鋒介紹，從9月20日起，每隔三天就會(huì)進(jìn)行一次大的壓測(cè)，而且每天都會(huì)有小壓測(cè)，包括全鏈路的壓測(cè)、寫壓測(cè)，以及故障演練、第三方服務(wù)出現(xiàn)問(wèn)題后的應(yīng)對(duì)等。因?yàn)樽龊昧巳娴臏?zhǔn)備工作，所以今年“雙11”到來(lái)時(shí)，每日優(yōu)鮮上上下下心里非常有底。
“雙11”活動(dòng)期間，每日優(yōu)鮮特意在北京總部大樓的11層設(shè)立了作戰(zhàn)室，從總指揮到研發(fā)團(tuán)隊(duì)的架構(gòu)師、所有運(yùn)維人員，以及運(yùn)營(yíng)、技術(shù)和產(chǎn)品的對(duì)接人，從早上8點(diǎn)就全部到崗，一份分工明細(xì)的保障時(shí)間表，不僅包括所有一線參戰(zhàn)人員和備戰(zhàn)人員，而且按照每個(gè)小時(shí)分批次排定工作內(nèi)容，在辦公室的、在路上的、在各個(gè)分支構(gòu)的人員，都遵照既定的節(jié)奏，有條不紊地處理自己手中的工作。
因?yàn)槊咳諆?yōu)鮮的IT系統(tǒng)100%托管在公有云平臺(tái)上，所以每日優(yōu)鮮的“雙11”之戰(zhàn)，也有云服務(wù)商UCloud緊密配合與協(xié)作。
除了充足資源的準(zhǔn)備，UCloud協(xié)助將每日優(yōu)鮮云資源打散，避免業(yè)務(wù)過(guò)于集中承載而出現(xiàn)問(wèn)題;同時(shí)將一些歷史的監(jiān)控?cái)?shù)據(jù)、風(fēng)險(xiǎn)分析和評(píng)估數(shù)據(jù)給到每日優(yōu)鮮作為參考，雙方共同研判在“雙11”期間可能會(huì)出現(xiàn)哪些意外狀況和風(fēng)險(xiǎn)，提前進(jìn)行優(yōu)化、遷移、加固等工作，以降低風(fēng)險(xiǎn)。此外UCloud還派專人提供駐場(chǎng)服務(wù)，確保在問(wèn)題發(fā)生時(shí)能夠第一時(shí)間響應(yīng)和解決。
“在今年之前，每次‘雙11’來(lái)臨時(shí)，我們都會(huì)比較緊張，整個(gè)過(guò)程中會(huì)消耗大量人力物力資源，感覺(jué)身心比較疲憊。”周鋒坦言，“但是今年有很大不同，‘雙11’技術(shù)保障再次升級(jí)，公司內(nèi)部各業(yè)務(wù)部門之間充分溝通和配合，提前做好準(zhǔn)備，為所有工作設(shè)定優(yōu)先級(jí)，并確定每項(xiàng)工作的深度，歸納出方法論。正因?yàn)槿绱�，今年�?lsquo;雙11’保障工作才會(huì)游刃有余。”
背后的技術(shù)準(zhǔn)備
每年的“5·17”“6·18”“雙11”“雙12”，再加上商家的店慶，還有各種各樣的節(jié)假日，現(xiàn)在的大促似乎變成了常態(tài)。這些促銷日對(duì)“剁手黨”來(lái)說(shuō)是一場(chǎng)場(chǎng)的狂歡，而對(duì)于商家的IT運(yùn)維團(tuán)隊(duì)來(lái)說(shuō)則是一場(chǎng)又一場(chǎng)不能有絲毫松懈的戰(zhàn)斗，會(huì)耗費(fèi)大量精力和體力。
在大促前的準(zhǔn)備階段，IT運(yùn)維團(tuán)隊(duì)要根據(jù)業(yè)務(wù)部門提出的要求，比如要做多少波秒殺、發(fā)多少?gòu)埲龋芯咳绾畏峙洮F(xiàn)有資源，是否需要擴(kuò)容并且擴(kuò)多少，最大流量洪峰可能出現(xiàn)在何時(shí)，如何針對(duì)復(fù)雜架構(gòu)實(shí)現(xiàn)統(tǒng)一監(jiān)控，以及如何快速定位問(wèn)題并順利解決。
商家平時(shí)的銷售和一般的促銷活動(dòng)，用戶訪問(wèn)量通常是線性的或可以預(yù)測(cè)的。而像“雙11”這樣的大促，通常流量是很難提前預(yù)估的。另外，為了達(dá)到預(yù)定的業(yè)績(jī)目標(biāo)，業(yè)務(wù)部門可能會(huì)在某一關(guān)鍵時(shí)間點(diǎn)上臨時(shí)拋出一個(gè)新的營(yíng)銷手段，比如在晚上11點(diǎn)發(fā)出一波紅包，這時(shí)可有會(huì)引發(fā)瞬間流量激增。這些臨時(shí)出現(xiàn)的情況，隨意性大，很可能導(dǎo)致技術(shù)瓶頸出現(xiàn)，所以作為IT運(yùn)維人員，必須和業(yè)務(wù)部門保持密溝通，確保在幾分鐘內(nèi)解決問(wèn)題。
“瓶頸總是存在的， 這就需要不同的部門之間相互磨合，及時(shí)溝通，才能在瓶頸出現(xiàn)前，消峰填谷，及時(shí)化解。”周鋒表示。
在“雙11”之前，UCloud對(duì)每日優(yōu)鮮的運(yùn)營(yíng)活動(dòng)計(jì)劃有了充分了解，提前優(yōu)化IT架構(gòu)的承載能力，這是應(yīng)對(duì)瞬時(shí)高并發(fā)流量的前提條件。從9月20日開(kāi)始，每日優(yōu)鮮的運(yùn)維部門召集運(yùn)營(yíng)部門一起梳理促銷活動(dòng)指標(biāo)，預(yù)估發(fā)券、流量等數(shù)據(jù)。每日優(yōu)鮮的運(yùn)維團(tuán)隊(duì)負(fù)責(zé)把這些“業(yè)務(wù)語(yǔ)言”翻譯成“技術(shù)語(yǔ)言”，如哪些代碼、模塊、服務(wù)、系統(tǒng)需要特別關(guān)注或者優(yōu)化，然后再由云服務(wù)商UCloud將其翻譯成“云端資源語(yǔ)言”，比如需要擴(kuò)容多少云主機(jī)、多大帶寬、負(fù)載均衡，以及交付節(jié)奏等，從而保證在“雙11”期間，一切交易盡在掌握。
每日優(yōu)鮮發(fā)布的今年“雙11”的戰(zhàn)報(bào)顯示：銷售額為去年同期的2.7倍，最快的一筆訂單配送到用戶僅用時(shí)5分51秒，刷新了紀(jì)錄，而運(yùn)維部門的零故障完美地支撐了業(yè)務(wù)的“巔峰時(shí)刻”。
當(dāng)“雙11”成了“新常態(tài)”
無(wú)論是從知名度、影響力，還是帶來(lái)的流量、銷售額來(lái)看，其他的促銷活動(dòng)還不可能與“雙11”相提并論。所以，每年的“雙11”，每日優(yōu)鮮都會(huì)提前做好一切準(zhǔn)備措施，但緊張的運(yùn)維工作也會(huì)讓周鋒和他的團(tuán)隊(duì)一度“忙到跳腳“。
從長(zhǎng)遠(yuǎn)來(lái)看，各種促銷會(huì)變成“新常態(tài)”，而每日優(yōu)鮮通過(guò)像“雙11”這樣的大促，可以不斷積累經(jīng)驗(yàn)，并形成一套涵蓋技術(shù)、流程和管理的方法論，使之標(biāo)準(zhǔn)化、自動(dòng)化，并可在每個(gè)促銷活動(dòng)時(shí)復(fù)制，盡量采用標(biāo)準(zhǔn)化、自動(dòng)化的流程、配置，減少人為參與的環(huán)節(jié)，這樣不僅可以提高效率，而且減輕了運(yùn)維等團(tuán)隊(duì)的工作負(fù)擔(dān)。這對(duì)周鋒和他的團(tuán)隊(duì)來(lái)說(shuō)又是一個(gè)新課題。
