業(yè)界首個《分布式融合存儲研究報告》發(fā)布，打造智算時代新存儲底座

北京2023年11月30日 /美通社/ -- 2023年11月30日，中國電子技術標準化研究院、存儲產業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟聯(lián)合華中科技大學、中山大學、之江實驗室、浪潮信息、天翼云等20多家學研機構、企業(yè)和用戶代表，共同撰寫的業(yè)界首個《分布式融合存儲研究報告》（以下簡稱：《報告》）正式發(fā)布。《報告》首次系統(tǒng)梳理并深入分析了分布式融合存儲的概念、技術架構和應用場景，為融合存儲產業(yè)發(fā)展提供參考和指引。

中國電子技術標準化研究院領導表示，"數(shù)據(jù)成為重要的生產要素，數(shù)據(jù)存儲和數(shù)據(jù)管理在信息技術變革中的作用更加顯著。分布式融合存儲作為存儲新技術，在數(shù)據(jù)存儲領域將會發(fā)揮更大作用。"

中國計算機行業(yè)協(xié)會信息存儲與安全專委會會長、華中科技大學教授謝長生表示，"存儲作為數(shù)字技術底座之一，既得到空前發(fā)展也面臨巨大挑戰(zhàn)，分布式融合存儲就是迎接這種挑戰(zhàn)的關鍵技術，該報告匯聚了學術界、產業(yè)界和用戶的集體智慧和經驗，描述了一副全景視圖。"

分布式融合存儲將成為智算時代的數(shù)據(jù)基石

中國工程院院士、清華大學教授鄭緯民指出，"數(shù)字化和智能化催生數(shù)據(jù)量爆炸式增長，分布式融合存儲技術的出現(xiàn)，不僅可以提供數(shù)據(jù)存儲的效率和安全性，還可以實現(xiàn)數(shù)據(jù)的動態(tài)管理和智能優(yōu)化，為各種應用場景提供更加全面和可靠的數(shù)據(jù)支持。"

《報告》指出，相較于傳統(tǒng)的分布式存儲技術，分布式融合存儲是在傳統(tǒng)的分布式存儲架構的基礎上，實現(xiàn)了同一存儲集群同時提供多種存儲服務，并且在非結構化數(shù)據(jù)協(xié)議間實現(xiàn)了協(xié)議融合、數(shù)據(jù)融合互通的存儲技術，其能夠提供跨模式/格式數(shù)據(jù)共享互通的能力，并支持塊、文件、對象、大數(shù)據(jù)多協(xié)議接入以及多協(xié)議關聯(lián)統(tǒng)一管理，滿足多應用跨不同協(xié)議實現(xiàn)高效的數(shù)據(jù)互通訪問。

該報告明確了分布式融合存儲的四大關鍵技術：統(tǒng)一存儲池，保證數(shù)據(jù)能夠均衡地分布在各個存儲節(jié)點中，支持存儲池的橫向擴展，以及數(shù)據(jù)自動修復能力；存儲服務融合，在一套存儲系統(tǒng)中同時提供文件、對象、大數(shù)據(jù)和塊存儲服務，同時具備豐富的多協(xié)議支持能力；數(shù)據(jù)管理融合，采用統(tǒng)一的非結構化數(shù)據(jù)和元數(shù)據(jù)管理架構，保證各協(xié)議的原生訪問；存儲協(xié)議融合，支持NFS、CIFS、HDFS、S3等非結構化數(shù)據(jù)協(xié)議的融合互通，保證了各種協(xié)議共享同一份數(shù)據(jù)和元數(shù)據(jù)。分布式融合存儲通過對底層硬件資源進行高通用性且細粒度的管理，可極大地緩解智算時代數(shù)據(jù)急劇增長所導致的存儲資源緊張問題。

為五大典型場景提供強大存力支撐

分布式融合存儲在海量多源異構數(shù)據(jù)處理和"通信、感知、計算"一體化的邊緣場景方面提供了強有力的存力支撐，使其能夠滿足不同場景對于存儲的需求，為當前的數(shù)字化轉型時代提供了高效、多維、貫通和定制化的生產要素，讓數(shù)據(jù)驅動向全場景滲透。

《報告》總結了分布式融合存儲的五大典型應用場景：

• 以自動駕駛為代表的深度學習場景：自動駕駛場景中數(shù)據(jù)量比較大，并且數(shù)據(jù)類型復雜。在整個數(shù)據(jù)生命周期中，根據(jù)不同階段的應用，需要使用不同的協(xié)議。而分布式融合存儲則實現(xiàn)多協(xié)議互訪互通，并具備極致聚合性能，能夠滿足數(shù)據(jù)采集、數(shù)據(jù)標注、模型訓練對于存儲帶寬、小文件處理、存儲 IO 等方面的要求，使業(yè)務流程更加簡潔高效；
• 以 AI/AIGC 為代表的大模型應用場景：模型的訓練是AI開發(fā)的核心，這要求存儲系統(tǒng)提供高帶寬和高并發(fā)性能。分布式融合存儲可避免因訪問協(xié)議不同造成的數(shù)據(jù)拷貝，并提供海量多源數(shù)據(jù)、高性能、低延遲的存儲基礎設施，為AI應用的訓練和推理提供強大存儲能力的支撐；
• 以湖倉一體為代表的數(shù)據(jù)智能應用場景：湖倉一體的架構，數(shù)據(jù)來源多種多樣，面向的服務和存儲協(xié)議多種多樣，所以融合存儲是必然趨勢。分布式融合存儲為該場景提供了更高的計算擴展性，可為各類計算引擎同時提供存儲需求，并實現(xiàn)協(xié)同合作和數(shù)據(jù)共享；
• 金融風控場景：金融風控場景的特殊性意味著，其對于存儲系統(tǒng)的可用性、數(shù)據(jù)一致性、可擴展性、數(shù)據(jù)安全性、性能都提出了很高的要求。分布式融合存儲通過高可用、高安全、高擴展、高性能設計，能夠支撐系統(tǒng)實時數(shù)據(jù)訪問和靈活擴容，滿足大規(guī)模數(shù)據(jù)存儲與分析的需求；
• HPC高性能計算場景：在高性能計算領域，分布式融合存儲技術的應用作用愈發(fā)重要，它通過將多種存儲業(yè)務資源集成為一個整體，以滿足對文件、對象、塊功能的需求，以及性能和容量的要求，并提供高可靠性和可擴展性，為科學計算和數(shù)據(jù)分析提供了可信賴的數(shù)據(jù)基礎。

分布式融合存儲正成為用戶首選的存儲底座

《報告》預測，分布式融合存儲這一新興技術目前正處于發(fā)展早期階段，仍面臨多服務融合的高性能挑戰(zhàn)，新存儲形態(tài)的標準化挑戰(zhàn)和智能化的運維管理挑戰(zhàn)。

同時，分布式融合存儲擁有廣闊前景，首先分布式融合存儲有助于"存力"構建，符合政策方向；其次，分布式融合存儲在一套存儲架構有效組織管理不同存儲介質、存儲協(xié)議和存儲服務，使得"一套存儲架構支持一個數(shù)據(jù)中心"成為可能；以AI大模型為基礎技術，未來涌現(xiàn)的各類新應用需要更強大的數(shù)據(jù)基礎設施和數(shù)據(jù)平臺能力，帶來不可估量的市場空間，注定分布式融合存儲未來大為可期。

存儲產業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟秘書長李仁剛提出，"云計算、大數(shù)據(jù)和人工智能等技術的快速發(fā)展，將推動分布式融合存儲的進一步應用、推廣，成為越來越多行業(yè)用戶的首選存儲底座。"