 |
北京2022年4月29日 /美通社/ -- 4月26日，中國(guó)信通院主辦了"穩(wěn)保計(jì)劃"首屆云系統(tǒng)穩(wěn)定性大會(huì)。會(huì)上，"穩(wěn)保計(jì)劃"云系統(tǒng)穩(wěn)定性領(lǐng)域的最新評(píng)估結(jié)果、混沌工程先鋒實(shí)踐者優(yōu)秀案例評(píng)選結(jié)果正式公布。
中電金信憑借在混沌工程領(lǐng)域的研發(fā)積累和豐富的工程實(shí)踐，與恒豐銀行攜手建設(shè)的"恒豐銀行紅藍(lán)對(duì)抗演練"獲得了首屆"混沌工程先鋒實(shí)踐者"優(yōu)秀案例獎(jiǎng)"。
混沌工程
混沌工程作為分布式系統(tǒng)穩(wěn)定性的重要保障，近年來(lái)成為推動(dòng)企業(yè)IT韌性系統(tǒng)建設(shè)的強(qiáng)大力量。
2021年中國(guó)信通院以混沌工程為切入點(diǎn)開(kāi)展了一系列工作，歷時(shí)4個(gè)月，對(duì)國(guó)內(nèi)一批成熟度高、具有示范標(biāo)桿作用的優(yōu)秀混沌工程實(shí)踐案例進(jìn)行了調(diào)研和評(píng)選。恒豐銀行與中電金信合作的"紅藍(lán)對(duì)抗演練"，極大地提升了運(yùn)維團(tuán)隊(duì)?wèi)?yīng)對(duì)故障處置的能力，成功入圍了首屆"混沌工程先鋒實(shí)踐者"優(yōu)秀案例獎(jiǎng)評(píng)選。
近幾年，分布式架構(gòu)引入銀行體系后，分布式微服務(wù)架構(gòu)的應(yīng)用讓基礎(chǔ)設(shè)施復(fù)雜度日益增高，系統(tǒng)不穩(wěn)定性也增多，且傳統(tǒng)運(yùn)維演練成本高、費(fèi)時(shí)費(fèi)力。
恒豐銀行煙臺(tái)數(shù)據(jù)中心開(kāi)放場(chǎng)景，與中電金信分階段開(kāi)展"紅藍(lán)對(duì)抗演練"，通過(guò)系統(tǒng)常態(tài)化的故障演練，紅方和藍(lán)方在對(duì)抗過(guò)程中提前發(fā)現(xiàn)并修復(fù)系統(tǒng)中的潛在問(wèn)題，從而提升了系統(tǒng)的穩(wěn)定及可靠性，有效地提升了運(yùn)維團(tuán)隊(duì)?wèi)?yīng)對(duì)故障處置的能力。
中電金信|恒豐銀行團(tuán)隊(duì)
紅藍(lán)對(duì)抗演練平臺(tái)
中電金信所設(shè)計(jì)的混沌工程實(shí)驗(yàn)平臺(tái)由基礎(chǔ)設(shè)施和擾動(dòng)注入模塊、任務(wù)調(diào)度模塊、平臺(tái)管理模塊、平臺(tái)核心功能等多個(gè)模塊組成，為紅藍(lán)對(duì)抗演練提供環(huán)境搭建、故障復(fù)現(xiàn)、演練事件管理、發(fā)起演練等相關(guān)功能。
平臺(tái)不僅包含ChaosBlade常見(jiàn)的故障類型，而且擴(kuò)充了部分中間件異常以及銀行關(guān)注的交易一致性場(chǎng)景案例，結(jié)合銀行系統(tǒng)的特點(diǎn)，打造適用于銀行系統(tǒng)的混沌案例庫(kù)，通過(guò)實(shí)驗(yàn)管理的方式進(jìn)行紅藍(lán)對(duì)抗演練。
混沌工程平臺(tái)架構(gòu)圖
混沌工程實(shí)驗(yàn)平臺(tái)落地實(shí)踐過(guò)程中，采用了一系列創(chuàng)新性方法和方式。如將銀行關(guān)注的高可用案例封裝成混沌案例庫(kù)，其中包含高可用相關(guān)停應(yīng)用、停服務(wù)、宕網(wǎng)卡、宕機(jī)、假死等案例，以及從生產(chǎn)事件、應(yīng)急預(yù)案中抽象的如存儲(chǔ)占滿、損壞，交易一致性相關(guān)等案例。
此外，演練還聯(lián)動(dòng)應(yīng)急預(yù)案與線上告警系統(tǒng)，該系統(tǒng)可以在發(fā)生系統(tǒng)問(wèn)題時(shí)，快速定位問(wèn)題并找到對(duì)應(yīng)的處置方法，有力地提升事件的處置效率。
"紅藍(lán)對(duì)抗演練"主要在準(zhǔn)生產(chǎn)環(huán)境進(jìn)行，應(yīng)用范圍覆蓋251個(gè)系統(tǒng)，共計(jì)1533個(gè)部署單元，2605臺(tái)服務(wù)器，涵蓋核心系統(tǒng)、手機(jī)銀行、支付結(jié)算、電子銀行等重要系統(tǒng)。
下一階段，恒豐銀行還將與中電金信合作，在落地混沌工程實(shí)驗(yàn)方面進(jìn)行更加深遠(yuǎn)的探索，為行方帶來(lái)更加完善且高效可行的演練解決方案。
