北京2020年12月8日 /美通社/ -- 隨著科技洪流的推動,閃存存儲時代已經(jīng)全面開啟,閃存陣列的大規(guī)模普及已經(jīng)勢不可擋。人工智能、大數(shù)據(jù)、云計算、5G、物聯(lián)網(wǎng)等落地推進,隨之帶來了海量數(shù)據(jù)的爆發(fā)和對極致性能前所未有的需求。
閃存時代,全面開啟
在新技術(shù)、新應(yīng)用驅(qū)動下,面對企業(yè)關(guān)鍵業(yè)務(wù)數(shù)據(jù)存儲需求,全閃陣列在主存儲市場呈現(xiàn)出一種穩(wěn)步增長的態(tài)勢,預(yù)計到2024年國內(nèi)全閃存儲市場將達到約56億的規(guī)模。
過去全閃存儲應(yīng)用場景主要集中在對于響應(yīng)延遲要求低、IOPS要求高的核心交易系統(tǒng),如傳統(tǒng)行業(yè)金融系統(tǒng)中的聯(lián)機交易、網(wǎng)銀、ODS,以及運營商的Billing系統(tǒng)和CRM系統(tǒng),這些核心系統(tǒng)通常要求存儲系統(tǒng)的性能高達8000 IOPS/TB,傳統(tǒng)存儲如果僅通過機械硬盤難以支撐。而現(xiàn)在隨著支撐的業(yè)務(wù)規(guī)模增加,或者因為需要敏捷響應(yīng)市場需求導(dǎo)致的業(yè)務(wù)種類也在迅速增加,使得各個行業(yè)除了核心交易系統(tǒng)之外,一些非核心但IOPS要求高、響應(yīng)延時低的業(yè)務(wù)也逐漸開始需要使用全閃陣列了。
隨著全閃存儲的需求量逐漸增加,如何將存儲軟件棧與閃存盤完美融合發(fā)揮出最大效能,成為各大存儲廠商需要面對的巨大挑戰(zhàn)。
浪潮發(fā)力全閃:外功扎實、內(nèi)功深厚
那浪潮在全閃存儲上做得怎么樣呢?可以用一句話來形容,外功扎實、內(nèi)功深厚。
首先在外功方面,浪潮存儲通過引入傲騰SSD作為內(nèi)存級存儲、NVMe高速通路端到端打通等硬件層面的創(chuàng)新,使得產(chǎn)品競爭力達到了業(yè)界領(lǐng)先水平。
在端到端NVMe方面,浪潮全閃存儲G5系列支持端到端NVMe,帶來性能快速提升。NVMe協(xié)議相較傳統(tǒng)SATA/SAS相比,重大的變化還在于由原來的單隊列機制轉(zhuǎn)變?yōu)槎嚓犃袡C制,隊列深度增至64K;寫請求數(shù)據(jù)間通信次數(shù)相比SAS從4次減少到2次;NVMe SSD經(jīng)過PCIe Switch之后直接到CPU,減少了多個中間層,降低了傳輸損耗。另外,G5可基于一套架構(gòu)實現(xiàn)NVMe和SAS都支持,采用超高速PCIE 3.0互聯(lián)架構(gòu),最大可擴展48個控制器,可實現(xiàn)6個9的可靠性。
在SCM級別介質(zhì)方面,浪潮存儲引入傲騰SSD作為SCM內(nèi)存存儲。SCM位于DRAM和NAND之間,能夠填補DRAM和NAND之間的性能和時延的鴻溝。由于SCM具備持久化和快速字節(jié)級訪問的特點,同時具備Persistent Memory介質(zhì)和NVM(Non-VolatileMemory)介質(zhì)特性,更重要的是SCM沒有NAND Flash順序?qū)懭牒蛯懬安脸募s束,操作過程更簡單,在壽命和數(shù)據(jù)保持能力方面的表現(xiàn)也遠超NAND Flash?;谶@些特點,業(yè)界普遍認為SCM會成為顛覆存儲系統(tǒng)設(shè)計的新一代介質(zhì),并優(yōu)先應(yīng)用于性能和可靠性要求較高的場景。
Intel Optane(傲騰)系列硬盤通過實踐證明NVMe和SCM(Storage Class Memory)配對時才會顯現(xiàn)更大的存儲優(yōu)勢,那時數(shù)據(jù)存儲將會迎來重大飛躍,NVMe的未來屬于SCM。
浪潮存儲全面支持SCM級介質(zhì),可在內(nèi)存和NAND之間增加新的性能層,具有高性價比;或整機框滿配Optane SSD,提供超高性能,業(yè)界少有。
說完外功,我們再來看看內(nèi)功,也就是軟件方面,浪潮存儲通過全用戶態(tài)軟件棧、智能資源調(diào)度技術(shù)、智能硬壓縮技術(shù)、垃圾回收技術(shù)、滿條帶寫、元數(shù)據(jù)優(yōu)化等技術(shù)創(chuàng)新,實現(xiàn)了全閃存儲的性能調(diào)優(yōu)。
其一全用戶態(tài)的軟件棧。浪潮存儲軟件部分和硬件驅(qū)動都在操作系統(tǒng)的用戶態(tài)實現(xiàn),這種實現(xiàn)方案有如下優(yōu)勢:可以減少CPU中斷次數(shù),消除內(nèi)核態(tài)到用戶態(tài)的內(nèi)存拷貝,提升性能;便于升級和維護,升級固件無需重啟操作系統(tǒng),直接升級替換軟件部分就可以。
這種方案也是當(dāng)前DPDK等高性能IO框架所采用的實現(xiàn)方式。
其二智能資源調(diào)度技術(shù)。浪潮存儲軟件棧不完全依賴于操作系統(tǒng)的任務(wù)調(diào)度機制,而是采取如下的手段提高CPU利用率:比如使用進程綁定技術(shù),將所有的任務(wù)綁定在不同的CPU核上,任務(wù)執(zhí)行時不跨越CPU核,不存在需要進行沖突保護數(shù)據(jù),也就無需用鎖來保護沖突,可以避免加鎖引起的CPU上下文切換,提高CPU利用率。又如,使用數(shù)據(jù)綁定技術(shù),將元數(shù)據(jù)進行切片,綁定在不同的CPU核上,避免多核并發(fā)訪問同一元數(shù)據(jù),降低CPU競爭引起的等待,提高CPU利用率。
其三智能硬件壓縮技術(shù)。定長輸出壓縮模式是一種前壓縮方式,數(shù)據(jù)會先經(jīng)過緩存壓縮(專用緩存和壓縮芯片),最終落盤的是壓縮后的數(shù)據(jù);且算法依據(jù)非定長輸入會生成定長輸出,更容易滿條帶刷寫,提高性能同時提高磁盤空間利用率。浪潮存儲基于時序的優(yōu)化策略可以識別隨機熱點數(shù)據(jù),依賴局部性原理進行數(shù)據(jù)存儲,進一步提高隨機場景的壓縮性能。浪潮存儲采用專用的硬件壓縮引擎極大釋放了CPU計算資源,最終帶來系統(tǒng)整體性能的提升。
其四垃圾回收優(yōu)化技術(shù)。由于SSD固態(tài)盤介質(zhì)特點,在長時間隨機讀寫后,再將數(shù)據(jù)寫入非空塊時,需要將塊中的其他數(shù)據(jù)讀入緩存、擦除整個塊、寫入數(shù)據(jù),這種“寫放大”導(dǎo)致性能急劇下降,且影響SSD盤壽命。浪潮全閃存儲設(shè)備利用全局垃圾回收優(yōu)化,針對SSD盤,在恰當(dāng)時機,標(biāo)識不再使用的數(shù)據(jù)塊,讓設(shè)備從內(nèi)部自動清除這些數(shù)據(jù)。從而提升I/O性能。
其五滿條帶寫技術(shù)。滿條帶寫即將隨機小IO轉(zhuǎn)為滿分條的順序大IO后寫入,隨之帶來的好處是: SSD盤在做GC回收空間時就無需再搬遷數(shù)據(jù),從而減少SSD內(nèi)的寫放大,延長SSD盤的壽命。浪潮存儲通過滿條帶寫技術(shù)消除了Raid校驗數(shù)據(jù)的反復(fù)更新,減少寫盤數(shù)據(jù),減少寫放大。
其六元數(shù)據(jù)優(yōu)化技術(shù)。浪潮全閃存儲通過基于全閃卷分配連續(xù)的地址,將多個元數(shù)據(jù)合并為大塊IO, 然后一起下盤,節(jié)省CPU資源。通過冷熱數(shù)據(jù)分流技術(shù),浪潮存儲能夠?qū)⒃獢?shù)據(jù)和用戶數(shù)據(jù)存放在不同的分區(qū)中,從而增加分區(qū)中數(shù)據(jù)同時無效的概率,達到減少垃圾回收過程中搬移有效數(shù)據(jù)的數(shù)據(jù)量,提升SSD的性能及可靠性。
其七數(shù)據(jù)零檢測技術(shù)。浪潮存儲優(yōu)先進行數(shù)據(jù)全零檢測。在開啟重刪與壓縮模式下,將優(yōu)先進行數(shù)據(jù)塊指紋值與全零指紋值的比較。若指紋值相同,則逐字確認數(shù)據(jù)是否全零。如確認是全零數(shù)據(jù),則僅僅標(biāo)記元數(shù)據(jù),不進行數(shù)據(jù)的落盤。從而節(jié)省SSD存儲空間,縮短I/O路徑,提高系統(tǒng)性能。
打造內(nèi)外兼修、軟硬皆強的全閃存儲
總結(jié)下來,全閃存儲不但需要在硬件層面采用閃存盤乃至SCM級介質(zhì),還需要通過軟件棧的全面優(yōu)化去發(fā)揮出高速介質(zhì)的強大性能,浪潮全閃存儲正是這樣一款內(nèi)外兼修,軟硬皆強的產(chǎn)品。正是浪潮存儲部門孜孜不倦的努力,不斷在全球存儲性能委員會SPC-1這個平臺上創(chuàng)造了一個又一個的佳績:浪潮存儲先后刷新了16控、8控、單位成本性能三項世界記錄。