雙十一又來了,今年是第10個年頭。
對于大部分人意味著剁手,可對于N多背后護持雙11的IT人來說,那就是赤果果的——Just剁 IT!
每逢“雙十一”最緊張的不是商鋪理貨,也不是網友緊盯大促商品準備秒殺,而是網購幕后的運維人員,他們最擔心:什么網絡中斷、應用卡頓、響應速度慢,服務器宕機……
雙十一作為電商 IT 部門的頭等大事,大促前,運維人員就需要早早地做好多套預備方案,并時刻緊繃著神經,經歷著上百次模擬演練。他們在后端有多少不眠不休的夜晚,不得而知。幾年前,一場秒殺讓服務器宕機是常態(tài),現(xiàn)在,一秒數(shù)十萬的訂單,服務器依然堅挺。毫無疑問,支撐起這一切的是強有力的技術和運維人一個個不眠的夜晚。
看似簡單的雙十一背后牽扯到是包括支付、架構、數(shù)據(jù)庫、網絡、運維、電力、客服、物流等整個商業(yè)配套基礎設施的協(xié)同和考驗。
雙十一大促的那些年 運維邁過的坑
天貓雙十一大促最早開始于 2009 年,那時候還是淘寶商城,一天的 GMV 只有幾千萬,而且還沒有零點全民瘋搶的概念。在大促前工程師們基本上會根據(jù)各自的經驗判斷,比如服務器的當前負載、應用的當前 RT 和 QPS,判斷每臺服務器最大能支撐多少能力等,然后幾個人討論后就決策拍板,某某核心應用各自要加多少臺服務器,到底要加多少服務器,實際上大家的心里沒底,實在不放心臨時再多申請擴容。總之這個階段業(yè)務量也小,也能應付過去。
后來幾年隨著天貓品牌的提升,雙十一大促逐年爆發(fā),原來的運維方式已經無法適用。業(yè)務發(fā)展迅速,后端的應用數(shù)量也大大增加,各個應用系統(tǒng)之間的調用鏈路錯綜復雜。大促前到底要準備擴容多少資源?不能拍腦袋熱,因為你申請資源太多會可能被拒絕,申請少了你要承擔更大的風險。
這時候用線上壓測的方式來解決,比如可以直接在生產環(huán)境抽取 1 臺服務器,通過模擬回放或者直接引入多倍流量做壓測,根據(jù)壓測結果計算出單臺服務器的最大可承載能力,然后用數(shù)字來說話,去申請擴容。還有就是即使容量規(guī)劃做到位了,但在零點峰值的時候還是可能會超出預期,系統(tǒng)還是會擠爆。所以又引入了限流和降級,限流就是對各個應用設置一個最大閾值,超過閾值就立刻拒絕新的請求,這樣的好處就是保護應用,避免雪崩。
還有就是降級,由于應用太多,在大促的期間,可以關閉部分非核心功能,保證交易主流程的能力最大化。那個階段的壓測也不是完全精確的,主要問題是壓測的局限性,只是對某個應用做單獨壓測,但是應用之間是有依賴有關聯(lián)的,特別是一些共享服務中心,基本上被所有應用都依賴調用,那怎么辦呢?后來幾年時間又研發(fā)出新的壓測工具,全鏈路壓測。這個對于容量規(guī)劃來說,是全新的思路,直接在生產環(huán)境上通過模擬復制產生大批的流量,每個環(huán)節(jié)都會被壓測到,并有相應的監(jiān)控系統(tǒng)配套,來找出瓶頸點在哪里,并迅速優(yōu)化。而且這個過程被自動化完成。
可見,自動化運維是大勢所趨。
零點瘋搶背后的運籌帷幄
現(xiàn)在的電商雙十一大促活動仍舊延續(xù)零點瘋搶模式,對于應用系統(tǒng)保障來說,能否順利扛過前 15 分鐘,甚至是前幾分鐘,成為最核心的保障任務。運維界大咖給出了以下幾點建議:能否順利扛過前 15 分鐘,甚至是前幾分鐘,成為最核心的保障任務。具體給出了以下幾點建議:
雙十一大促是最典型的彈性場景
彈性是云計算的最大優(yōu)勢,而大促是最典型的彈性場景。
隨著云計算特別是公有云的普及,現(xiàn)在的運維人員基本上無需關注機房、網絡、操作系統(tǒng)等底層設施。在不斷地演練后,如今的電商平臺早已采用彈性可擴展的云計算平臺,配合分布式數(shù)據(jù),高效的 CDN 分發(fā)來實現(xiàn)負載均衡,避免在雙十一凌晨高并發(fā)狀態(tài)下崩盤。運維人員將更多精力轉移到快速上線,快速迭代,去支持業(yè)務發(fā)展。
大促活動的流量跟日常完全不在一個量級,完全可以利用云資源的按需使用,來達到擴容的需求,而且在成本上是巨大的節(jié)省。除了擴容以外,當然還需要準備應急預案,整理出當天可能出現(xiàn)的異常情況,提前預演。
除去上述,所有運維團隊還需要提前制定值班計劃,對雙十一當天可能發(fā)生的各種突發(fā)情況預案,雙十一各時段應該關注的關鍵點進行詳盡計劃。總之,每年雙十一都是一次檢驗,一次大考。細節(jié)決定成敗,對全體運維人而言,必須所有細節(jié)都關注到,演練到,準備到,才足以從容應對每一年的雙十一大促。
平臺的選擇至關重要
選擇一個好的服務商對于電商企業(yè)至關重要,神州光大是利用共享經濟模式,通過互聯(lián)網平臺聚合工程師資源,為客戶提供有質量保證的按需使用工程師資源的IT服務的互聯(lián)網平臺公司。
諸如雙十一這樣的彈性場景,除了對設備、計算資源等需求會出現(xiàn)爆發(fā)式增長,這期間對工程師需求也會大大增加,神州光大廣泛的工程師資源,隨時滿足客戶各種場景下的人員需求,新增設備的安裝調試、大促前的巡檢、突發(fā)的緊急故障神行工程師都可以快速響應并提供現(xiàn)場服務。幫企業(yè)順利度過雙十一。