2021年11月，中國(guó)信通院發(fā)布國(guó)內(nèi)首個(gè)《中國(guó)混沌工程調(diào)查報(bào)告》，基于混沌工程業(yè)界現(xiàn)狀，探索并提升國(guó)內(nèi)云業(yè)務(wù)系統(tǒng)穩(wěn)定性。作為對(duì)外輸出混沌工程能力的先行者，京東云加入信通院成立的國(guó)內(nèi)首個(gè)混沌工程實(shí)驗(yàn)室，參與混沌工程標(biāo)準(zhǔn)編寫，并貢獻(xiàn)了混沌工程的最佳實(shí)踐。

今年首次開啟“晚8點(diǎn)”模式的京東11.11，迎來持續(xù)脈沖式流量高峰，對(duì)系統(tǒng)在持續(xù)高壓環(huán)境下的穩(wěn)定性有極高要求。借助領(lǐng)先的混沌工程能力，京東云不僅以超高彈性應(yīng)對(duì)海量并發(fā)，保障流量高峰的平穩(wěn)順滑，還推進(jìn)技術(shù)備戰(zhàn)常態(tài)化、自動(dòng)化，減少25%的備戰(zhàn)時(shí)間和人力投入。

搞破壞，混沌工程的穩(wěn)定之道

“系統(tǒng)越復(fù)雜，越脆弱”。企業(yè)在數(shù)字化轉(zhuǎn)型中擁抱云計(jì)算、大數(shù)據(jù)、AI等新技術(shù)的同時(shí)，容易出現(xiàn)系統(tǒng)架構(gòu)復(fù)雜度拉升、調(diào)用鏈增長(zhǎng)、依賴關(guān)系復(fù)雜等問題?；煦绻こ瘫徽J(rèn)為是檢驗(yàn)、增強(qiáng)系統(tǒng)穩(wěn)定性的不二選擇。

混沌工程為揭示系統(tǒng)缺陷而進(jìn)行破壞性試實(shí)驗(yàn)，提前探知系統(tǒng)風(fēng)險(xiǎn)，通過架構(gòu)優(yōu)化和運(yùn)維模式改進(jìn)來解決系統(tǒng)風(fēng)險(xiǎn)，真正建立系統(tǒng)的韌性架構(gòu)，降低企業(yè)損失。

在混沌工程的理論中，將正常的系統(tǒng)數(shù)據(jù)假設(shè)為“穩(wěn)定狀態(tài)”，參照真實(shí)環(huán)境的多類型事件注入故障，如服務(wù)器崩潰、硬盤故障、網(wǎng)絡(luò)連接斷開等，并直接面向生產(chǎn)環(huán)境的實(shí)際流量進(jìn)行破壞性實(shí)驗(yàn)。通過“穩(wěn)定狀態(tài)”的變化來反駁假設(shè)，發(fā)現(xiàn)并修復(fù)問題。

在實(shí)施過程中破壞系統(tǒng)穩(wěn)定狀態(tài)的難度越大，即可對(duì)系統(tǒng)穩(wěn)定性樹立更強(qiáng)的信心。一旦發(fā)現(xiàn)缺陷，就能定向優(yōu)化改進(jìn)，避免在系統(tǒng)規(guī)?；笕毕荼环糯?。

不同于業(yè)界熟知的故障注入測(cè)試，混沌工程不僅制造故障來測(cè)試系統(tǒng)反饋，還基于不可預(yù)知性模擬各類異常場(chǎng)景，進(jìn)行生產(chǎn)上各層次的流量切換演練。

自從Netflix開源Chaos Monkey，混沌工程在全球多家頂級(jí)科技企業(yè)的實(shí)踐，充分驗(yàn)證其在穩(wěn)定性領(lǐng)域的作用。伴隨云服務(wù)逐漸成為基礎(chǔ)設(shè)施，穩(wěn)定性被不斷強(qiáng)調(diào)，混沌工程正在憑借“搞破壞”的工程理念成為云服務(wù)的穩(wěn)定之道。

助力企業(yè)引入混沌工程，京東云推出穩(wěn)定性主動(dòng)管理系統(tǒng)云泰

 京東云在多年的京東618、京東11.11磨練中，成為混沌工程的實(shí)踐者和受益者，從單業(yè)務(wù)場(chǎng)景故障到整機(jī)房斷電宕機(jī)……京東云順利通過各類超「變態(tài)」場(chǎng)景考驗(yàn)。

基于京東體系多年積累的混沌工程能力，京東云沉淀出穩(wěn)定性主動(dòng)管理系統(tǒng)——云泰，對(duì)外輸出可見、可查、可管、可控的穩(wěn)定性解決方案，提供穩(wěn)定性主動(dòng)測(cè)算、故障注入與演練、全鏈路壓測(cè)、紅藍(lán)對(duì)抗和基于“穩(wěn)定性基線”的評(píng)分服務(wù)等核心功能。

通過穩(wěn)態(tài)監(jiān)控功能，云泰可保持對(duì)核心資源、服務(wù)的數(shù)據(jù)觀測(cè)，支持完成主動(dòng)測(cè)算系統(tǒng)穩(wěn)定性，從實(shí)時(shí)和周期性完成健康度、異常趨勢(shì)及SLI可用性測(cè)算，到實(shí)時(shí)感知突發(fā)事件和異常事件，快速定位系統(tǒng)故障等日常需求，云泰系統(tǒng)都全面覆蓋。

同時(shí)云泰系統(tǒng)的故障注入與演練功能，支持引入指定的演練對(duì)象后，在演練大廳選擇故障類型、編排演練場(chǎng)景，定時(shí)執(zhí)行故障演練，并通過對(duì)關(guān)聯(lián)業(yè)務(wù)、基礎(chǔ)資源等對(duì)象“穩(wěn)定狀態(tài)”的實(shí)時(shí)監(jiān)控，快速完成故障定位，檢驗(yàn)系統(tǒng)的穩(wěn)定性能。

相比手動(dòng)演練易出現(xiàn)操作故障、不可重復(fù)執(zhí)行、無歷史記錄等問題，云泰的演練平臺(tái)不僅設(shè)有種類豐富的故障，可高效完成場(chǎng)景編排，還能自動(dòng)、定時(shí)、重復(fù)執(zhí)行，并結(jié)合實(shí)時(shí)監(jiān)控、實(shí)時(shí)定位和完善的歷史記錄幫助全面探索系統(tǒng)穩(wěn)定性。

針對(duì)傳統(tǒng)性能測(cè)試經(jīng)濟(jì)成本高、技術(shù)難度大、測(cè)試周期長(zhǎng)的痛點(diǎn)，云泰系統(tǒng)內(nèi)置了全鏈路壓測(cè)平臺(tái)，壓測(cè)集群支持百萬級(jí)并發(fā)，且能按需、實(shí)時(shí)擴(kuò)容，其高性能、低成本、可擴(kuò)展和支持復(fù)雜場(chǎng)景的特性，可以為多個(gè)行業(yè)提供優(yōu)質(zhì)的性能測(cè)試服務(wù)，尤其是海量高并發(fā)、波峰波谷現(xiàn)象明顯的電商、游戲等領(lǐng)域。

全面輸出，京東云服務(wù)產(chǎn)業(yè)數(shù)字化

作為京東集團(tuán)面向政企客戶輸出技術(shù)的核心平臺(tái)，京東云致力于打造“更懂產(chǎn)業(yè)的云”，運(yùn)用京東數(shù)智化實(shí)戰(zhàn)中積累的技術(shù)能力，助力產(chǎn)業(yè)數(shù)字化升級(jí)。

以戰(zhàn)養(yǎng)戰(zhàn)，混沌工程不僅在京東內(nèi)部廣泛應(yīng)用，也在持續(xù)對(duì)外輸出，推進(jìn)提升產(chǎn)業(yè)數(shù)字化過程中的系統(tǒng)穩(wěn)定性。

以2021年服貿(mào)會(huì)為例，京東云再度作為官方技術(shù)服務(wù)商，提供數(shù)智化技術(shù)支持與運(yùn)營(yíng)服務(wù)保障，繼助力打造全球聞名的“永不落幕服貿(mào)會(huì)”后，驅(qū)動(dòng)展客商體驗(yàn)全面升級(jí)。服貿(mào)會(huì)開幕前，京東云正是基于混沌工程，在6個(gè)場(chǎng)景下對(duì)直播、2D、3D、官網(wǎng)、智能推薦和預(yù)約購(gòu)票等多個(gè)子系統(tǒng)的部署情況進(jìn)行故障模擬，完成破壞性演練工作，保障服貿(mào)會(huì)相關(guān)系統(tǒng)的穩(wěn)定性和高可用。

在云服務(wù)成為產(chǎn)業(yè)數(shù)字化基礎(chǔ)設(shè)施的當(dāng)下，作為最懂產(chǎn)業(yè)的云，京東云將繼續(xù)積極參與混沌工程實(shí)驗(yàn)室項(xiàng)目，為普及混沌工程貢獻(xiàn)有生力量，同時(shí)持續(xù)輸出京東云的混沌工程成功經(jīng)驗(yàn)，助力產(chǎn)業(yè)數(shù)字化過程中IT系統(tǒng)穩(wěn)定性的持續(xù)提升。