北京2022年8月18日 /美通社/ -- 隨著數(shù)字經(jīng)濟成為全球經(jīng)濟高質量發(fā)展的引擎,企業(yè)數(shù)據(jù)量正在指數(shù)級增長,預計到2025年全球數(shù)據(jù)規(guī)模將突破175ZB。在"東數(shù)西算"工程中常見的存儲業(yè)務包括生產(chǎn)數(shù)據(jù)、災備數(shù)據(jù)和存檔數(shù)據(jù),其特點是容量巨大、長期保存,既要存得下,又要存得好。東數(shù)西算對數(shù)據(jù)存儲提出哪些新需求、新挑戰(zhàn),數(shù)據(jù)存儲有哪些應對之道,浪潮信息對此進行了解讀。
海量數(shù)據(jù) 如何"存得下"
首先,要有足夠的空間承載"東數(shù)西算"工程的海量數(shù)據(jù)。
存儲作為數(shù)字世界的載體和基石,數(shù)據(jù)存力以存儲容量為核心,存儲裝機容量直接代表著國家和企業(yè)在數(shù)據(jù)時代的核心競爭力。日前,Gartner公布2022年一季度全球存儲市場報告,報告顯示,本季度全球存儲市場裝機容量12.7EB,同比增長5.4%;其中浪潮存儲裝機容量同比增長39.7%,七倍市場平均增速,裝機容量達到1499PB,位列全球前三、中國第一。浪潮存儲作為國際和國內存力擔當,相當于全球每增加100TB數(shù)據(jù)存儲裝機容量,就有11.5TB數(shù)據(jù)存在浪潮存儲中,產(chǎn)品成熟度和競爭力得到了市場的驗證。
其次,保證數(shù)據(jù)在8個樞紐、10個數(shù)據(jù)中心之間進行快速、高效、安全傳輸。
浪潮存儲擁有業(yè)界領先的智能WAN加速技術,采用了免費內置的業(yè)務模式,通過提高網(wǎng)絡帶庫利用率,將WAN傳輸性能、帶寬提升10倍以上。具體方法為,浪潮存儲采用多數(shù)據(jù)流并發(fā)傳輸機制:一方面在發(fā)送端,會將每個數(shù)據(jù)流進行免license壓縮,可實現(xiàn)2-5倍的數(shù)據(jù)壓縮比;再將壓縮后的數(shù)據(jù)流切成多個固定大小的數(shù)據(jù)塊,給數(shù)據(jù)塊打上序號和校驗碼,然后向傳輸通道傳輸各個數(shù)據(jù)流的定長數(shù)據(jù)塊,源源不斷的發(fā)送過去。另一方面在接受端,對每個定長數(shù)據(jù)塊進行校驗,一旦發(fā)現(xiàn)數(shù)據(jù)塊有誤或丟失,就反饋給發(fā)送端,發(fā)送端只需要重新傳輸這個小的定長數(shù)據(jù)塊,不需要重傳整個數(shù)據(jù)流。同時,對數(shù)據(jù)塊進行排序和解壓縮,還原成各個數(shù)據(jù)流的完整版。
東數(shù)西算 如何存得好
在全球積極應對氣候變化目標下,綠色低碳成為數(shù)據(jù)中心的重要發(fā)展方向,中國經(jīng)過充分論證研究,規(guī)劃布局了8大國家樞紐節(jié)點,引導大規(guī)模數(shù)據(jù)中心適度集聚,通過實施"東數(shù)西算"工程,積極探索構建形成以數(shù)據(jù)流為導向的新型格局。在"碳達峰、碳中和"大背景下,數(shù)據(jù)中心產(chǎn)業(yè)變革的核心環(huán)節(jié)在于綠色節(jié)能數(shù)據(jù)中心的高質量發(fā)展,通過先進節(jié)能技術、高效協(xié)同網(wǎng)絡和可再生能源來使能數(shù)據(jù)中心自身和高耗能行業(yè)節(jié)能降碳,促進實現(xiàn)"碳達峰、碳中和"的宏偉戰(zhàn)略目標。
首先,存儲底座要采用綠色節(jié)能技術,降低數(shù)據(jù)中心PUE值。
全閃存儲是實現(xiàn)綠色節(jié)能的核心技術。隨著閃存介質的不斷發(fā)展,其高性能、低延時、低功耗的優(yōu)勢使其成為數(shù)據(jù)中心的寵兒,全閃存儲的占比在國內已達到24%,存儲介質閃存化將是未來數(shù)據(jù)中心的發(fā)展趨勢。2019年,浪潮就在業(yè)內率先提出新數(shù)據(jù)存儲戰(zhàn)略,并打造出可靠、高效的HF系列全閃存儲。HF系列從SSD核心器部件,到存儲操作系統(tǒng),再到算法進行全面創(chuàng)新,保障存儲系統(tǒng)穩(wěn)定可靠運行。HF系列不斷打磨"iTurbo 2.0智能加速引擎",優(yōu)化資源調度算法,利用更多的CPU核心和線程承載更多數(shù)據(jù)存儲進程,在存儲性能委員會組織的SPC-1國際基準測試中,以2300萬IOPS的評測值奪得性能總榜全球第一。2022年,浪潮全新推出了新一代SSD高速存儲介質,能效比上一代產(chǎn)品提升70%以上,能夠幫助存儲系統(tǒng)實現(xiàn)綠色低碳。
實時無損在線重刪壓縮技術能夠幫助數(shù)據(jù)中心提升空間利用效率。借助全閃存儲的高性能、低延時、低功耗的優(yōu)勢,利用業(yè)界領先的實時無損在線重刪壓縮技術,可實現(xiàn)相同空間內存儲幾倍甚至幾十倍的數(shù)據(jù),幫助節(jié)約能耗,實現(xiàn)綠色低碳。
以壓縮為例,浪潮壓縮技術原理如下:其一,將壓縮數(shù)據(jù)8byte對齊,拿8K字節(jié)數(shù)據(jù)舉例,壓縮空間利用率99.8%;其二采用內置獨立加速芯片,對性能時延無影響;其三,當寫入數(shù)據(jù)時,基于弱哈希+字節(jié)對比,確保重刪效率數(shù)據(jù)一致性;最后基于前壓縮方式,實現(xiàn)數(shù)據(jù)在緩存中壓縮(專用緩存和壓縮芯片),數(shù)據(jù)存入到磁盤是壓縮后的數(shù)據(jù)量,并通過固定條帶技術,充分利用空間。據(jù)測算,數(shù)據(jù)庫類應用壓縮比例為2:1-5:1,日志型應用最大壓縮比例可達10:1。
東數(shù)西算 如何實現(xiàn)多協(xié)議融合
"萬物之始,大道至簡",目前企業(yè)的數(shù)據(jù)類型越來越豐富,"多合一"架構成為企業(yè)分布式存儲選型的剛需。浪潮分布式存儲追求極簡,是業(yè)內首個支持四合一架構的融合存儲,用戶購買一套存儲享有文件、塊、對象和大數(shù)據(jù)四種服務,其中文件、對象和大數(shù)據(jù)3種存儲服務間可訪問同一份數(shù)據(jù),數(shù)據(jù)無需在不同設備間遷移和拷貝,實現(xiàn)存一份數(shù)據(jù)相當于存了3份,構建成真正的統(tǒng)一存儲資源池,業(yè)務處理效率翻倍提升,滿足性能需求的同時,幫助IT投資運維成本節(jié)約30%以上,實現(xiàn)綠色低碳。
同時,還可以對數(shù)據(jù)進行自動化運維,降低運維復雜度。在數(shù)據(jù)運維方面,浪潮基于智能統(tǒng)一存儲管理平臺InView,實現(xiàn)數(shù)據(jù)中心"硬盤級"的性能、容量、故障智能預測。與傳統(tǒng)存儲運維相比,傳統(tǒng)運維在系統(tǒng)運維、管理中缺少精細化管理策略,僅僅對主機運行做管控,忽略了存儲最小物理單元硬盤運維。通過統(tǒng)一的存儲數(shù)據(jù)管理平臺實現(xiàn)多套存儲平臺統(tǒng)一管理,通過統(tǒng)一入口,實現(xiàn)對統(tǒng)一存儲和海量存儲的的精細管理,嵌入式設計,對外始終只呈現(xiàn)一個系統(tǒng)頁面,標簽欄切換式操作,多設備間自如切換。能支持在統(tǒng)一的管理軟件內,實現(xiàn)對存儲系統(tǒng)的容災復制管理,輕松構建跨設備容災。 集成AIOPS 功能,針對分布式海量存儲,可以實現(xiàn)對磁盤故障的提前預測和告警。提供統(tǒng)一資源存儲管理平臺,對存儲系統(tǒng)進行集中管理、智能監(jiān)測和故障預測,硬盤兩周時間預測準確率可以達到95%以上,增強了東數(shù)西算數(shù)據(jù)中心的健壯性——從以前被動的硬盤壞了以后進行搶救變成主動提前預測,有足夠時間窗口對壞盤提前進行數(shù)據(jù)重構,讓EB存儲"巨無霸"穩(wěn)健、連續(xù)運行。
"東數(shù)西算"工程是對堅持新發(fā)展理念、構建新發(fā)展格局的貫徹落實,將為中國數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化發(fā)展打好堅實底座。數(shù)據(jù)存儲作為支撐東數(shù)西算工程建設的底層關鍵技術,高效、安全、綠色、易管理的重要性不言而喻。浪潮存儲以全球前三、中國第一的裝機容量"存下"海量數(shù)據(jù),通過智能WAN加速技術確保數(shù)據(jù)傳輸快速、高效、安全,通過全閃介質、實時無損在線重刪壓縮、多協(xié)議融合等綠色節(jié)能技術"存好"數(shù)據(jù),并通過智能化運維InView使數(shù)據(jù)中心間的運維更加簡便。
東數(shù)西算工程剛剛啟幕,面向未來,浪潮存儲將持續(xù)秉承"云存智用,運籌新數(shù)據(jù)"理念,不斷加快研發(fā)創(chuàng)新腳步,激活數(shù)據(jù)源力,釋放數(shù)據(jù)潛能,支撐數(shù)字化創(chuàng)新應用,服務數(shù)字化中國建設,推動東數(shù)西算邁向新征程。