超過(guò)500人的團(tuán)隊(duì),集中在一個(gè)大會(huì)議室里,1000多只眼睛緊緊地盯著每一塊屏幕,準(zhǔn)備迎接馬上要到來(lái)的這一年一度的“過(guò)山車(chē)”。
雙十一過(guò)去之后,當(dāng)大家都在忙著收快遞的時(shí)候,黃立龍卻還在忙著對(duì)這次雙十一的技術(shù)保障進(jìn)行復(fù)盤(pán)。
這是黃立龍?jiān)谔K寧參與保障的第8個(gè)雙十一,在回憶這次技術(shù)保障的時(shí)候他說(shuō),每一次雙十一都是全新的,去年已經(jīng)發(fā)生過(guò)的問(wèn)題在今年不會(huì)再次出現(xiàn)。
在復(fù)盤(pán)的時(shí)候,黃立龍很興奮的展示了當(dāng)天的戰(zhàn)績(jī):監(jiān)控研發(fā)中心所有核心監(jiān)控系統(tǒng)無(wú)降級(jí)、無(wú)限流、零事故,0點(diǎn)時(shí)刻服務(wù)器收到的請(qǐng)求峰值達(dá)到50萬(wàn)次/秒;安全研發(fā)中心應(yīng)用防火墻產(chǎn)品線處理請(qǐng)求超過(guò)130億次,攔截攻擊超過(guò)4億次;人機(jī)識(shí)別服務(wù)有效攔截惡意刷單超過(guò)450萬(wàn)次,攔截機(jī)器領(lǐng)券超過(guò)70萬(wàn)次,有效阻止了黃牛作弊、薅羊毛、撞庫(kù)、垃圾注冊(cè)等行為;風(fēng)控撞庫(kù)服務(wù)攔截超過(guò)20萬(wàn)次撞庫(kù)行為,阻止了超過(guò)1萬(wàn)個(gè)正常賬號(hào)被盜……
今年是雙十一十周年,作為中國(guó)最大的購(gòu)物狂歡節(jié),其參與人群已經(jīng)不僅僅限于國(guó)內(nèi),海外的消費(fèi)者、品牌商也都逐漸的加入到了這次狂歡當(dāng)中,畢竟“打折”這個(gè)詞是沒(méi)有國(guó)界的。而黃立龍們帶著蘇寧的技術(shù)要迎接的就是來(lái)自全球的2億消費(fèi)者。
倒計(jì)時(shí)1個(gè)月
為了保障各個(gè)團(tuán)隊(duì)之間的協(xié)同穩(wěn)定,蘇寧內(nèi)部技術(shù)團(tuán)隊(duì)每年雙十一都會(huì)提前一個(gè)月組建臨時(shí)的保障團(tuán)隊(duì),從豆芽(蘇寧內(nèi)部自研社交軟件)群的名字就能看出來(lái):XX公司/中心2018雙十一保障群、大促保障監(jiān)控群、大促保障專(zhuān)家群,疑難問(wèn)題層層上報(bào),三道關(guān)卡建立起了蘇寧雙十一技術(shù)保障的三道壁壘。
為了迎接這次全球范圍內(nèi)的購(gòu)物狂歡,黃立龍和同事們?cè)缭谝粋€(gè)月前就開(kāi)始準(zhǔn)備。
像黃立龍所在的數(shù)據(jù)云公司一樣,負(fù)責(zé)各個(gè)板塊的業(yè)務(wù)中心拿到今年的流量預(yù)估數(shù)據(jù)后要從蘇寧自研的超過(guò)4000個(gè)系統(tǒng)中找出最核心的188個(gè)系統(tǒng)在凌晨不影響用戶體驗(yàn)的情況下進(jìn)行六輪混合場(chǎng)景壓測(cè),發(fā)現(xiàn)問(wèn)題,進(jìn)行優(yōu)化。
作為蘇寧的團(tuán)隊(duì)進(jìn)行六輪混合場(chǎng)景壓測(cè)的主要發(fā)生平臺(tái),蘇寧自主研發(fā)的綜合測(cè)試服務(wù)平臺(tái)蛙測(cè)平臺(tái)能夠針對(duì)移動(dòng)端和PC端瀏覽器進(jìn)行兼容性測(cè)試,能夠?yàn)閼?yīng)用研發(fā)過(guò)程中面臨的成本、技術(shù)和效率問(wèn)題提供解決方案,為業(yè)務(wù)的快速迭代提供支撐。今年的壓測(cè)平臺(tái)在雙十一的發(fā)壓能力相對(duì)于818提升了10倍,平臺(tái)表現(xiàn)穩(wěn)定。
第一步,走穩(wěn)了。
與其他電商不同的是,11日前幾天的蘇寧幾次大促力度毫不亞于雙十一,而這些活動(dòng)就成為了蘇寧雙十一技術(shù)保障團(tuán)隊(duì)的練兵場(chǎng)。
10月31日,各中心的技術(shù)保障團(tuán)隊(duì)首次集中在作戰(zhàn)指揮中心,開(kāi)始了第一次集中監(jiān)控,臨近雙十一的流量和雙十一的真實(shí)流量情況更接近,更能幫助發(fā)現(xiàn)系統(tǒng)存在的問(wèn)題,那一晚,黃立龍和同事們開(kāi)始了第一個(gè)不眠夜。
結(jié)束后,7天的分散監(jiān)控讓黃立龍們有時(shí)間總結(jié)這次的問(wèn)題,并制定相應(yīng)的解決方案,系統(tǒng)擴(kuò)容,非核心系統(tǒng)降級(jí)……7天后,11月8日,第二次預(yù)熱大促,已經(jīng)升級(jí)的保障措施再次接受考驗(yàn)。這次沒(méi)有也不能再出現(xiàn)大問(wèn)題,畢竟兩天后就是真正的大考。
倒計(jì)時(shí)1天
11月10日早上8點(diǎn),黃立龍和同事們穿著紅色的戰(zhàn)袍進(jìn)入到了蘇寧雙十一技術(shù)后臺(tái)保障作戰(zhàn)指揮中心。從進(jìn)入會(huì)議室一直到雙十一“最危險(xiǎn)”的時(shí)刻過(guò)去,除了上廁所,他們會(huì)一直待在這間會(huì)議室里面。
這件能夠容納500人的會(huì)議室每次大促都會(huì)變身為作戰(zhàn)指揮中心,會(huì)議室的入口處上方掛著大大的“戰(zhàn)”字旗,前排會(huì)議桌上面貼滿了“贏戰(zhàn)雙十一購(gòu)物節(jié)”、“上網(wǎng)上街上蘇寧”等標(biāo)語(yǔ),大屏幕已經(jīng)準(zhǔn)備就緒,各項(xiàng)監(jiān)控?cái)?shù)據(jù)已經(jīng)完成投屏。系統(tǒng)后臺(tái)已經(jīng)配置好的資源、制定好的解決方案全部鎖定不允許再做任何更改。緊張的氣氛彌漫整個(gè)會(huì)場(chǎng)。
黃立龍?jiān)诨貞浀臅r(shí)候說(shuō):雙十一對(duì)我們來(lái)說(shuō)是一次技術(shù)大考,又緊張又興奮,畢竟一年只有一次,我們做了充足的準(zhǔn)備。
除了這些程序員,在蘇寧,超過(guò)4000個(gè)自研系統(tǒng)也已準(zhǔn)備好為用戶的消費(fèi)保駕護(hù)航,基礎(chǔ)設(shè)施技術(shù)方面巡檢視圖技術(shù)、流量分析技術(shù)、同城與異地多活等技術(shù)保證系統(tǒng)更穩(wěn)定,大數(shù)據(jù)平臺(tái)的百川、天工、縱橫、SSA等運(yùn)營(yíng)工具實(shí)現(xiàn)想用戶所想,一鍵付、智能風(fēng)控、支付決策機(jī)器人等智能化的支付產(chǎn)品,讓用戶的錢(qián)包能夠在系統(tǒng)最忙碌的時(shí)候依然安全,智能路由時(shí)效、智能倉(cāng)庫(kù)包裝、智慧零售倉(cāng)等物流智能化產(chǎn)品則已經(jīng)鉚足了勁,只等消費(fèi)者的訂單一到,就帶著貨物以百米沖刺的速度奔向消費(fèi)者。
蘇寧的團(tuán)隊(duì)蓄勢(shì)待發(fā)。
倒計(jì)時(shí)1小時(shí)
10日晚上8點(diǎn)到11點(diǎn),蘇寧的線上購(gòu)物流量會(huì)慢慢上升,像是暴風(fēng)雨來(lái)臨前的黑夜在積聚力量,等待著某一瞬的爆發(fā)。
叮當(dāng)!桌面上的幾部手機(jī)同時(shí)亮起。豆芽群發(fā)了通知:“雙十一倒計(jì)時(shí)一小時(shí),請(qǐng)大家做好準(zhǔn)備。”此時(shí)的會(huì)場(chǎng),所有人的注意力都放在了屏幕上,會(huì)員、商品、物流、訂單量各個(gè)板塊各項(xiàng)指標(biāo)穩(wěn)定。
作為作戰(zhàn)指揮中心的數(shù)據(jù)云公司的總指揮助手,黃立龍的感覺(jué)比其他人都要強(qiáng)烈。他的注意力不僅要放在自己眼前的屏幕上,更要協(xié)助總指揮協(xié)調(diào)現(xiàn)場(chǎng)的資源,會(huì)場(chǎng)各個(gè)板塊的整體狀況他都要有所知曉。
叮當(dāng)!“雙十一倒計(jì)時(shí)十五分鐘,請(qǐng)大家做好準(zhǔn)備。”最后一次通知發(fā)出來(lái)了,但是很少再有人去看豆芽群,會(huì)場(chǎng)也只能再聽(tīng)到敲鍵盤(pán)的聲音,所有的注意力都已經(jīng)被屏幕上逐漸增高的數(shù)據(jù)和上升的曲線奪走。
先于黃立龍們一步,蘇寧的系統(tǒng)后臺(tái)已經(jīng)感受到了暴風(fēng)雨前的小雨滴。商品詳情頁(yè)、購(gòu)物車(chē)等后臺(tái)系統(tǒng)的曲線開(kāi)始出現(xiàn)波動(dòng)。
這個(gè)時(shí)候黃立龍的心跳已經(jīng)開(kāi)始加速,所有的準(zhǔn)備已經(jīng)就緒,等待著流量涌入,系統(tǒng)響應(yīng),等待雙十一的到來(lái)。
雙十一來(lái)了
4秒破億,50秒破十億。隨著表盤(pán)中的數(shù)字從23:59:59跳到了00:00:00,大屏幕上的核心端口訪問(wèn)量曲線像過(guò)山車(chē)一樣瞬間飆升,會(huì)員、商品、流量、訂單、物流等各個(gè)業(yè)務(wù)板塊的監(jiān)控?cái)?shù)字也開(kāi)始飛速跳動(dòng)。黃立龍的眼睛盯著屏幕觀察著各個(gè)指標(biāo),不敢有絲毫恍惚。
而此時(shí)在屏幕上的曲線之外,蘇寧的技術(shù)也開(kāi)始迅速響應(yīng)。蘇寧智能客服小Biu智能助手解決的用戶咨詢量迅速增加,千變banner依然在按照用戶的喜好和產(chǎn)品的特點(diǎn)一鍵生成著海報(bào),物流倉(cāng)庫(kù)的AGV機(jī)器人也已經(jīng)收到了這一晚的第一單,開(kāi)始飛速運(yùn)轉(zhuǎn),準(zhǔn)備投遞。
黃立龍說(shuō),這是最緊張的時(shí)刻,過(guò)了0點(diǎn),服務(wù)器訪問(wèn)量瞬間上升,和上一秒的訂單量形成巨大的反差,他的心跟著屏幕上躍升的曲線提到了嗓子眼。這樣的“過(guò)山車(chē)”是最考驗(yàn)服務(wù)器的承載能力的,如果沒(méi)能承受住,用戶端就會(huì)出現(xiàn)異常,大量的用戶就會(huì)在修復(fù)BUG的那一點(diǎn)點(diǎn)時(shí)間迅速流失掉。
雙十一的首個(gè)流量頂峰會(huì)在零點(diǎn)后的前半個(gè)小時(shí),扛過(guò)去了,就開(kāi)啟了這一天的良好開(kāi)端。不僅對(duì)于黃立龍,對(duì)于整個(gè)蘇寧來(lái)說(shuō),這半個(gè)小時(shí)都尤其緊張,超過(guò)4000個(gè)自主研發(fā)系統(tǒng),十萬(wàn)多種服務(wù),領(lǐng)先行業(yè)所建設(shè)的交易、數(shù)據(jù)、AI三大中臺(tái),到底是硬實(shí)力還是噱頭,半個(gè)小時(shí)內(nèi)見(jiàn)分曉。
慢慢的,各個(gè)系統(tǒng)平臺(tái)的訪問(wèn)量開(kāi)始漸趨平穩(wěn),響應(yīng)時(shí)間一直在高速范圍內(nèi),錯(cuò)誤率維持在最低水平。
過(guò)了首個(gè)頂峰,流量曲線開(kāi)始出現(xiàn)上下波動(dòng),雖然之后還會(huì)有數(shù)次高峰,甚至超過(guò)第一次峰值,但是“過(guò)山車(chē)”不會(huì)再有了,雙十一技術(shù)保障基本可以定下心來(lái)。
從早上8點(diǎn)到凌晨3點(diǎn),黃立龍的神經(jīng)已經(jīng)緊繃了19個(gè)小時(shí)。這個(gè)時(shí)間不算長(zhǎng)。前期的準(zhǔn)備沒(méi)有白做,剩下的事情只需要讓系統(tǒng)自動(dòng)運(yùn)行,監(jiān)控交給各中心的同事輪流來(lái)做就好。
這個(gè)時(shí)候,智能客服還在解答消費(fèi)者的疑問(wèn),千變banner已經(jīng)生成了無(wú)數(shù)張海報(bào),AGV機(jī)器人也已經(jīng)打包好了幾十萬(wàn)個(gè)包裹,超過(guò)20萬(wàn)個(gè)包裹已經(jīng)在凌晨一點(diǎn)前送到了消費(fèi)者手中……
“雖然我們的技術(shù)在不斷增強(qiáng),但是每一次雙十一都是一次全新的雙十一,你不知道下一次會(huì)出現(xiàn)什么樣的問(wèn)題,用戶在變化,我們也不能松懈。在用戶體驗(yàn)這件事上不能有絲毫馬虎”,黃立龍表示。
28年來(lái)一直處于零售消費(fèi)領(lǐng)域前沿的蘇寧打造出了全渠道、全場(chǎng)景、多業(yè)態(tài)的智慧零售生態(tài)圈,將其智慧零售的核心能力在今年雙十一上全面釋放。
像黃立龍這樣的蘇寧上萬(wàn)名程序員,在全球5個(gè)研發(fā)基地、10大核心數(shù)據(jù)中心、超過(guò)4000個(gè)系統(tǒng)的技術(shù)保駕護(hù)航下,截至2018年11月11日23點(diǎn)59分,雙十一全民嘉年華期間,蘇寧易購(gòu)全渠道銷(xiāo)售實(shí)現(xiàn)了同比132%的增長(zhǎng)。
- 重生特斯拉:馬斯克22年后重塑電動(dòng)汽車(chē)巨頭,揭秘‘殺死’最初特斯拉的背后故事
- 快手短劇小程序被關(guān)停,違規(guī)微短劇遭下架,究竟誰(shuí)在“受傷”?
- 寧德時(shí)代在宜賓成立動(dòng)力電池公司:瞄準(zhǔn)新能源巨頭的破局之戰(zhàn)
- 華為鴻蒙智行新訂單火爆:尊界S800斬獲8成份額,市場(chǎng)潛力不容忽視
- 蘋(píng)果承認(rèn)部分Mac設(shè)備無(wú)法開(kāi)機(jī),免費(fèi)維修等你來(lái)領(lǐng)!別再猶豫,抓緊時(shí)間!
- 快手短劇小程序明日關(guān)停:意料之外的裁員風(fēng)暴,究竟誰(shuí)在裸泳?
- 九章云極攜手賽富投資領(lǐng)投AI-STAR智算生態(tài)基金,引領(lǐng)人工智能新紀(jì)元
- 強(qiáng)化學(xué)習(xí)云平臺(tái)崛起:九章云極發(fā)布全球首個(gè)九章智算云Alaya NeW Cloud 2.0,引領(lǐng)AI算力新紀(jì)元
- 字節(jié)AI大佬李航"功成身退",卸任AI Lab負(fù)責(zé)人,探索新篇章
- 高盛揭秘中國(guó)新經(jīng)濟(jì)力量:民營(yíng)巨頭如何崛起,騰訊阿里小米領(lǐng)跑新經(jīng)濟(jì)浪潮
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。