北京2024年11月21日 /美通社/ -- 隨著智能時(shí)代的全面到來，數(shù)據(jù)量呈現(xiàn)出爆炸性增長，這對存儲系統(tǒng)提出了前所未有的高標(biāo)準(zhǔn)要求。從早期的"百模大戰(zhàn)"演進(jìn)至"千模大戰(zhàn)"，現(xiàn)已邁入了一個(gè)以數(shù)據(jù)為核心的新時(shí)代，其中數(shù)據(jù)成為了算法與算力不可或缺的基礎(chǔ)支撐。
在近期舉行的2024中國數(shù)據(jù)與存儲峰會上，浪潮信息分布式存儲產(chǎn)品部總經(jīng)理姜樂果發(fā)表了題為《智能時(shí)代的數(shù)據(jù)存儲平臺》的主題演講。在演講中，姜樂果深刻剖析了智能時(shí)代背景下數(shù)據(jù)存儲所面臨的挑戰(zhàn)及浪潮信息為應(yīng)對這些挑戰(zhàn)所做出的不懈努力與創(chuàng)新實(shí)踐。
智能時(shí)代下的數(shù)據(jù)存儲需求
無論是金融領(lǐng)域的風(fēng)險(xiǎn)精準(zhǔn)識別、智慧交通中的自動駕駛技術(shù)、制造業(yè)中的精密質(zhì)量檢測，還是科研領(lǐng)域的高效計(jì)算探索，都深深依賴于海量數(shù)據(jù)的強(qiáng)大支持。然而，數(shù)據(jù)的迅猛增長也給存儲系統(tǒng)帶來了諸多前所未有的嚴(yán)峻挑戰(zhàn)，這些挑戰(zhàn)涵蓋了更高的性能需求、更靈活的擴(kuò)展能力，以及更智能化的管理機(jī)制等多個(gè)方面。
在人工智能時(shí)代，數(shù)據(jù)作為最為關(guān)鍵的載體，其計(jì)算過程中的存儲環(huán)節(jié)面臨著性能、效率和韌性這三大核心挑戰(zhàn)。
姜樂果在演講中著重指出，數(shù)據(jù)存儲的性能已經(jīng)成為制約眾多應(yīng)用場景進(jìn)一步發(fā)展的關(guān)鍵因素之一。相較于以往，大模型的訓(xùn)練對存儲性能的需求已經(jīng)躍升了多個(gè)數(shù)量級。在傳統(tǒng)時(shí)代，存儲性能往往停留在百GB級的水平，而到了大模型訓(xùn)練的時(shí)代，這一需求已經(jīng)激增到TB級。這意味著，如果沒有足夠快速的存儲設(shè)備作為支撐，數(shù)據(jù)的讀寫時(shí)間將會大幅度延長，進(jìn)而導(dǎo)致GPU等昂貴且寶貴的計(jì)算資源處于閑置狀態(tài)，造成資源的極大浪費(fèi)。
除了性能之外，數(shù)據(jù)存儲的效率也是至關(guān)重要的。在當(dāng)今這個(gè)數(shù)據(jù)多源異構(gòu)的時(shí)代，數(shù)據(jù)來源于網(wǎng)絡(luò)、云端以及政府機(jī)構(gòu)等多個(gè)渠道，如何迅速有效地對這些數(shù)據(jù)進(jìn)行清洗、整合，并最終形成有價(jià)值的數(shù)據(jù)資源，成為了一個(gè)亟待解決的難題。
此外，從國家政策的角度來看，數(shù)據(jù)要素已經(jīng)被正式納入資產(chǎn)負(fù)債表，成為了企業(yè)資產(chǎn)中不可或缺的一部分。這一舉措不僅彰顯了數(shù)據(jù)的巨大價(jià)值，同時(shí)也對存儲系統(tǒng)的安全性與可靠性提出了更為嚴(yán)格的要求，以確保數(shù)據(jù)的完整性和保密性。
浪潮信息的創(chuàng)新探索與實(shí)踐
面對智能時(shí)代的種種挑戰(zhàn)，浪潮信息已經(jīng)形成了清晰的存儲平臺構(gòu)建策略。
在產(chǎn)品布局上，浪潮信息針對大模型訓(xùn)練推出了軟件定義存儲，它融合了塊、文件、對象和大數(shù)據(jù)等多種存儲類型，注重提供極致的性能和容量，并能夠同時(shí)管理上層業(yè)務(wù)應(yīng)用和第三方存儲資源。而對于推理場景，浪潮信息則推出了陣列存儲，利用傳統(tǒng)盤陣的微秒級延時(shí)優(yōu)勢，能夠迅速響應(yīng)如人工智能駕駛等高要求場景的需求。此外，浪潮信息還自主研發(fā)了SSD，通過打通IO路徑，進(jìn)一步提升了存儲效率。
為了提升性能，浪潮信息采用了端到端的優(yōu)化策略。結(jié)合SSD和技術(shù)架構(gòu)的演進(jìn)，通過智能運(yùn)行、緩存和自解鎖等技術(shù)，對軟件架構(gòu)進(jìn)行了重構(gòu)。這使得小文件性能提升了5倍以上，大文件性能提升了10倍。在訓(xùn)練過程中，CheckPoint操作實(shí)現(xiàn)了秒級讀寫，TB級帶寬的案例有效減少了GPU時(shí)延的浪費(fèi)，從而提升了訓(xùn)練效率。
在智能空間管理方面，浪潮信息去除了本地文件系統(tǒng)，直接管理裸盤，并預(yù)分配空間和權(quán)限到計(jì)算節(jié)點(diǎn)。這種方式減少了原數(shù)據(jù)的訪問，使得空間利用率達(dá)到了95%以上，同時(shí)性能沒有衰減，進(jìn)一步縮短了大模型訓(xùn)練的時(shí)間。
融合存儲優(yōu)化管理：浪潮信息軟件定義存儲從2016年自研至今不斷發(fā)展，通過和客戶業(yè)務(wù)深度結(jié)合的方式，推動產(chǎn)品從文件、對象融合逐步向四合一、五合一邁進(jìn)。到目前，存儲對內(nèi)可以實(shí)現(xiàn)多協(xié)議互訪互通、語義無損，同時(shí)只需要保存一份數(shù)據(jù)供多種協(xié)議訪問；存儲對外可通過全局文件系統(tǒng)支持?jǐn)?shù)據(jù)跨介質(zhì)、跨終端、跨域流動，實(shí)現(xiàn)一套存儲管理所有平臺，優(yōu)化存儲效率。
安全可靠保障業(yè)務(wù)：數(shù)據(jù)資產(chǎn)入表對安全性和可靠性要求高，浪潮信息在風(fēng)險(xiǎn)防控上檢測率高、誤報(bào)漏報(bào)率低，達(dá)到萬分之2.9。利用AIOps功能預(yù)測性能、容量趨勢和故障盤，提前預(yù)警處理，減少盤體故障導(dǎo)致的存儲宕機(jī)。
在全球存儲市場中，浪潮信息存儲裝機(jī)容量位居前三，企業(yè)存儲業(yè)務(wù)在中國位居第二，全閃存儲銷售額同樣在中國市場占據(jù)領(lǐng)先地位。隨著大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)的快速發(fā)展，數(shù)據(jù)存儲需求日益多樣化且復(fù)雜化。基于此，浪潮信息憑借深厚的技術(shù)研發(fā)底蘊(yùn)，積極推動場景共同體建設(shè)，與合作伙伴共同探索解決方案、定制產(chǎn)品，并協(xié)同拓展市場，共同推動存儲領(lǐng)域的進(jìn)步。展望未來，浪潮信息將不斷致力于提供更加優(yōu)質(zhì)、高效、安全的存儲解決方案，以應(yīng)對市場對高效、可靠存儲的迫切需求，為各行各業(yè)的數(shù)字化轉(zhuǎn)型和智能化升級提供堅(jiān)實(shí)支撐。
