北京2021年3月12日 /美通社/ -- HDFS（Hadoop Distributed File System）作為通用的分布式文件系統(tǒng)，可以提供高可擴(kuò)展、低成本、高可靠的海量數(shù)據(jù)存儲(chǔ)，并廣泛應(yīng)用于大數(shù)據(jù)存儲(chǔ)和分析方向。
近年來伴隨5G、物聯(lián)網(wǎng)、人工智能等領(lǐng)域的快速發(fā)展，數(shù)據(jù)量規(guī)模不斷增大，同時(shí)隨著大數(shù)據(jù)應(yīng)用的多樣化發(fā)展，對(duì)數(shù)據(jù)的利用也更加成熟與深入，更大數(shù)據(jù)量以及更加靈活的數(shù)據(jù)處理場(chǎng)景對(duì)HDFS的數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)讀寫吞吐提出了越來越高的要求。
為應(yīng)對(duì)這些挑戰(zhàn)，浪潮著力研發(fā)與集成的面向分布式文件系統(tǒng)的智能存儲(chǔ)管理技術(shù)Smart Storage Management（簡(jiǎn)稱SSM）應(yīng)運(yùn)而生。通過多項(xiàng)新技術(shù)及特性來解決存儲(chǔ)場(chǎng)景中的各類挑戰(zhàn)，助力大數(shù)據(jù)產(chǎn)品提供更加高效、智能的存儲(chǔ)解決方案。
現(xiàn)今存儲(chǔ)技術(shù)面臨哪些疑難挑戰(zhàn)？
說到疑難挑戰(zhàn)，首先當(dāng)推基于異構(gòu)存儲(chǔ)介質(zhì)的數(shù)據(jù)存儲(chǔ)管理。從硬件平臺(tái)來看， HDFS的設(shè)計(jì)初衷是基于通用的廉價(jià)硬件提供可靠、高吞吐的數(shù)據(jù)存儲(chǔ)和訪問。但隨著硬件的迅速發(fā)展，傳統(tǒng)的磁盤性能和存儲(chǔ)容量都已達(dá)到瓶頸，新硬件如固態(tài)硬盤、非易失性內(nèi)存和SMR磁盤等受到廣泛關(guān)注。
目前，HDFS已有的功能和研究雖然可以兼容多類型的異構(gòu)介質(zhì)，實(shí)現(xiàn)對(duì)異構(gòu)存儲(chǔ)介質(zhì)的訪問和使用，但沒有很好的機(jī)制讓其智能感知不同設(shè)備的I/O特性，并根據(jù)數(shù)據(jù)的訪問特征動(dòng)態(tài)改變存儲(chǔ)方式，在異構(gòu)的環(huán)境下最大程度發(fā)揮各類硬件的性能優(yōu)勢(shì)。
其次則是面向大規(guī)模存儲(chǔ)的容量壓力。為了系統(tǒng)的可靠性，傳統(tǒng)HDFS通過副本策略來保障數(shù)據(jù)的安全，通常默認(rèn)為三副本，但存儲(chǔ)利用率僅為1/3。如果使用糾刪碼（Erasure Code，EC）來替換副本策略確實(shí)可以提供與副本相同的容錯(cuò)能力，并使用較少的存儲(chǔ)空間，但在典型的糾刪碼中如果要求存儲(chǔ)額外開銷不超過50%的話，相應(yīng)的糾刪碼卻會(huì)占用更多的計(jì)算資源，所以當(dāng)系統(tǒng)面臨存儲(chǔ)壓力時(shí)，用戶常常希望將不常使用的數(shù)據(jù)使用糾刪碼存儲(chǔ)，降低存儲(chǔ)壓力。
但目前的HDFS技術(shù)僅支持基于目錄的副本到糾刪碼轉(zhuǎn)換，轉(zhuǎn)換后業(yè)務(wù)訪問文件的路徑將發(fā)生改變，并無便捷的機(jī)制自動(dòng)化進(jìn)行。
面向應(yīng)用負(fù)載的自適應(yīng)存儲(chǔ)挑戰(zhàn)也不容忽視。從上層應(yīng)用來看，一方面在大數(shù)據(jù)Hadoop生態(tài)系統(tǒng)不斷發(fā)展的過程中，HDFS因其自身的穩(wěn)定可靠、簡(jiǎn)單易用、擴(kuò)展性高等優(yōu)點(diǎn)使越來越多上層應(yīng)用和系統(tǒng)將其作為統(tǒng)一的底層存儲(chǔ)，其上存儲(chǔ)的數(shù)據(jù)類型和支持的分析負(fù)載也越來越多元化。
另一方面，在企業(yè)中不同部門和用戶經(jīng)?；谕环萑繑?shù)據(jù)進(jìn)行查詢分析，帶來同一份數(shù)據(jù)服務(wù)多樣的查詢負(fù)載。在這種應(yīng)用場(chǎng)景下，基于人工制定策略的存儲(chǔ)優(yōu)化就難以生效，勢(shì)必需要提供基于應(yīng)用負(fù)載的自適應(yīng)優(yōu)化技術(shù)來應(yīng)對(duì)。
智能存儲(chǔ)管理（SSM）技術(shù) 聚焦兩核心、三場(chǎng)景、四技術(shù)、五特性
面對(duì)異構(gòu)環(huán)境下如何最大程度發(fā)揮各類硬件性能優(yōu)勢(shì)的難題以及來自存儲(chǔ)的數(shù)據(jù)類型和支持的分析負(fù)載越來越多元化與應(yīng)用負(fù)載的自適應(yīng)優(yōu)化等方面的挑戰(zhàn)，智能存儲(chǔ)管理（SSM）提供了智能化的解決方案。
何為智能存儲(chǔ)管理Smart Storage Management（SSM）？
概念上，智能存儲(chǔ)管理（SSM）被定義為面向 HDFS的智能管理架構(gòu)，主要提供針對(duì)新型存儲(chǔ)設(shè)備、高速網(wǎng)絡(luò)、新計(jì)算的存儲(chǔ)優(yōu)化與數(shù)據(jù)優(yōu)化解決方案，實(shí)現(xiàn)端到端的數(shù)據(jù)管理服務(wù)，聚焦點(diǎn)可以概括為“兩核心、三場(chǎng)景、四技術(shù)、五特性”。
『兩大核心』SSM的核心是基于數(shù)據(jù)熱度的智能化管理來實(shí)現(xiàn)自動(dòng)化面向存儲(chǔ)的全生命周期優(yōu)化。在數(shù)據(jù)熱度方面，典型的應(yīng)用場(chǎng)景中通常80%的計(jì)算工作負(fù)載用于處理20%的數(shù)據(jù)，在動(dòng)態(tài)變化環(huán)境中針對(duì)局部數(shù)據(jù)進(jìn)行優(yōu)化尤其困難。
面對(duì)該問題，SSM通過收集文件系統(tǒng)操作數(shù)據(jù)與狀態(tài)信息，利用多項(xiàng)指標(biāo)分析數(shù)據(jù)訪問模式，從文件級(jí)別定義數(shù)據(jù)熱度，針對(duì)熱度信息統(tǒng)籌規(guī)劃相應(yīng)地優(yōu)化數(shù)據(jù)管理方式。
在智能決策方面，SSM建立了基于規(guī)則的智能決策體系，圍繞現(xiàn)有的大數(shù)據(jù)存儲(chǔ)模式智能地構(gòu)建了實(shí)用的解決方案。未來，SSM目標(biāo)將利用歷史數(shù)據(jù)和指標(biāo)學(xué)習(xí)，從而使系統(tǒng)具有預(yù)測(cè)數(shù)據(jù)訪問模式與持久學(xué)習(xí)能力，實(shí)現(xiàn)穩(wěn)定可持續(xù)的智能化管理。
「三種場(chǎng)景」目前SSM在三種典型場(chǎng)景下表現(xiàn)突出，例如多存儲(chǔ)模式。SSM適用于數(shù)據(jù)存儲(chǔ)模式豐富的應(yīng)用場(chǎng)景，可以提供更加靈活的存儲(chǔ)模式選擇；在數(shù)據(jù)優(yōu)化上則提供了小文件合井、數(shù)據(jù)災(zāi)備、數(shù)據(jù)壓縮等新功能，適用于對(duì)數(shù)據(jù)優(yōu)化有需求的應(yīng)用場(chǎng)景；智能化管理是面向大規(guī)模集群的數(shù)據(jù)管命周期的自動(dòng)化管理。
『四項(xiàng)技術(shù)』SSM主要通過四項(xiàng)技術(shù)實(shí)現(xiàn)智能的存儲(chǔ)管理，主要包括通過分布式集群自治技術(shù)解決管理服務(wù)的高可用問題來實(shí)現(xiàn)存儲(chǔ)管理集群去中心化；利用分布式事件驅(qū)動(dòng)技術(shù)實(shí)現(xiàn)面向高并發(fā)場(chǎng)景的輕量級(jí)計(jì)算服務(wù)與監(jiān)督機(jī)制，提升管理操作執(zhí)行效率與容錯(cuò)性。
基于規(guī)則的智能存儲(chǔ)管理技術(shù)解決存儲(chǔ)數(shù)據(jù)量巨大、數(shù)據(jù)增量高、數(shù)據(jù)類型混雜難以管理的問題，實(shí)現(xiàn)數(shù)據(jù)生命周期的智能化管理；憑借數(shù)據(jù)熱度感知技術(shù)解決存儲(chǔ)資源利用不均、資源浪費(fèi)問題，實(shí)現(xiàn)數(shù)據(jù)冷熱分層等。
『五種特性』面向用戶場(chǎng)景，SSM最終體現(xiàn)為五類典型的特性增強(qiáng)，主要包括如下：
總體來看，智能存儲(chǔ)管理（SSM），以數(shù)據(jù)熱度識(shí)別及智能化的決策體系為核心，配置面向應(yīng)用場(chǎng)景的技術(shù)優(yōu)化整體方案（異構(gòu)存儲(chǔ)增強(qiáng)、糾刪碼增強(qiáng)、小文件合并、自動(dòng)化災(zāi)備、透明化壓縮），自動(dòng)化智能化的解決HDFS存儲(chǔ)面向異構(gòu)介質(zhì)、存儲(chǔ)空間及應(yīng)用負(fù)載等方向的挑戰(zhàn)，大大提升HDFS分布式存儲(chǔ)的易用性及適用場(chǎng)景。
基于智能存儲(chǔ)管理（SSM）技術(shù) 浪潮云海Insight帶來更優(yōu)體驗(yàn)
作為面向海量數(shù)據(jù)存儲(chǔ)、計(jì)算、挖掘的一站式企業(yè)級(jí)大數(shù)據(jù)解決方案，浪潮云海Insight大數(shù)據(jù)平臺(tái)采用新型技術(shù)架構(gòu)可承擔(dān)企業(yè)大規(guī)模數(shù)據(jù)的采集集成、多樣存儲(chǔ)、規(guī)模計(jì)算以及智能分析挖掘等工作，支撐企業(yè)數(shù)據(jù)中心業(yè)務(wù)模型快速落地，助力企業(yè)信息化智能轉(zhuǎn)型。
具體來說云海Insight團(tuán)隊(duì)從客戶需求出發(fā)，結(jié)合業(yè)務(wù)場(chǎng)景對(duì)智能存儲(chǔ)管理技術(shù)（SSM）進(jìn)行全面的方案驗(yàn)證及增強(qiáng)，最終在大數(shù)據(jù)平臺(tái)中將智能存儲(chǔ)管理技術(shù)產(chǎn)品化，包括智能存儲(chǔ)的一鍵安裝、可視化運(yùn)維、基于票據(jù)的認(rèn)證架構(gòu)等，解決了用戶針對(duì)大數(shù)據(jù)平臺(tái)的備份災(zāi)備、數(shù)據(jù)生命周期管理、小文件合并等技術(shù)的訴求，提供了更優(yōu)秀的用戶體驗(yàn)。
舉個(gè)例子，某客戶的業(yè)務(wù)場(chǎng)景中，云海Insight團(tuán)隊(duì)將其近兩個(gè)月的訪問頻次高的數(shù)據(jù)定義為熱數(shù)據(jù)，使用三副本存儲(chǔ)；后四個(gè)月的訪問頻次低的數(shù)據(jù)定義為冷數(shù)據(jù)，使用糾刪碼存儲(chǔ)。通過SSM定義數(shù)據(jù)熱度判定策略以及完成自動(dòng)化的文件及從副本到糾刪碼的轉(zhuǎn)換，最終總存儲(chǔ)空間節(jié)省三分之一，且業(yè)務(wù)無需任何改變，大大提升了系統(tǒng)的可用性。
經(jīng)過多方實(shí)踐驗(yàn)證，面向HDFS的智能存儲(chǔ)管理技術(shù)能夠免去外界觸發(fā)完成數(shù)據(jù)管理并進(jìn)一步細(xì)化管理粒度，實(shí)現(xiàn)一次規(guī)則定制即可完成數(shù)據(jù)生命周期管理的解決方案，達(dá)成效果：
隨著大數(shù)據(jù)與人工智能的蓬勃發(fā)展，人工智能賦予存儲(chǔ)管理無限可能，利用智能算法提高大數(shù)據(jù)的調(diào)度和智能管理能力已成為技術(shù)發(fā)展的必然趨勢(shì)。未來，智能存儲(chǔ)管理技術(shù)（SSM）將基于深度學(xué)習(xí)優(yōu)化計(jì)算框架，浪潮云海Insight也將進(jìn)一步從整體上提升存儲(chǔ)管理的智能化水平，為用戶提供更優(yōu)秀的解決方案。
