北京2021年5月8日 /美通社/ -- 在IPF2021大會上,浪潮提出在智算時代里,智慧應用無處不在,也給計算和存儲帶來了新需求,隨著產(chǎn)業(yè)轉型加速,面臨著多元化、巨量化和生態(tài)化的挑戰(zhàn)。
事實上,伴隨著計算走向異構化、復雜化,AI模型走向巨量化,在存儲層面同樣會面臨著海量數(shù)據(jù)的誕生、存儲、管理和應用等一系列挑戰(zhàn)。高速發(fā)展的人工智能在對數(shù)字經(jīng)濟產(chǎn)生巨大賦能和推動的同時,也推動整個計算產(chǎn)業(yè)往“智算”方向演進,巨量模型和海量數(shù)據(jù),對算力和存儲的需求呈指數(shù)級增長,也將推動著存儲架構走向創(chuàng)新。
AI摩爾定律背后的一筆數(shù)據(jù)賬
過去,應用和場景通常是圍繞著業(yè)務流程展開;如今,幾乎所有的智慧應用都是通過數(shù)據(jù)和算法來驅動。
數(shù)據(jù)正在成為智算時代最核心的生產(chǎn)要素。隨著《十四五規(guī)劃報告》的頒布,在政策層面上推動數(shù)字時代到來、激活數(shù)據(jù)要素潛能,加快建設數(shù)字經(jīng)濟、產(chǎn)業(yè)數(shù)字化等,為數(shù)字化的智慧應用場景掃除了最后的障礙。
在一個智慧應用井噴的時代里,解決算力需求首當其沖,但亦不能忽視背后海量數(shù)據(jù)帶來的挑戰(zhàn)。以往,計算機處理器性能通常是遵循摩爾定律,每兩年左右時間增長一倍。如今隨著人工智能應用在多個行業(yè)遍地開花,模型愈發(fā)復雜,AI在訓練和推理對于算力的需求更加渴望。根據(jù)一些機構統(tǒng)計,AI訓練所需要的算力每3.43個月就翻一倍,AI摩爾定律揭示著一個對于算力極度渴求的時代到來。
以OpenAI的GPT模型為例,GPT-1模型參數(shù)只有1.1億個,預訓練數(shù)據(jù)量為5GB,最大層數(shù)為12層,到了GPT-2,模型參數(shù)增加到15億個,預訓練數(shù)據(jù)量達到40GB,最大層數(shù)突破到48層;而去年五月發(fā)布的GPT-3,模型參數(shù)則高達1750億個,,預訓練數(shù)據(jù)量高達45TB,最大層數(shù)高達96層。無論是模型規(guī)模、數(shù)據(jù)量、訓練層數(shù)都是指數(shù)級增加。
僅僅一個模型在短短幾年內(nèi)就發(fā)生了驚人的演進,隨著大量AI模型在行業(yè)中得到應用,隨之而來的海量數(shù)據(jù)可想而知。浪潮存儲產(chǎn)品線總經(jīng)理李輝表示,“在未來的智算時代中,海量數(shù)據(jù)的處理、存儲、流動與管理將面臨著嚴峻的挑戰(zhàn)。”
以自動駕駛為例,一輛L4級的自動駕駛車輛,每天就能夠誕生高達60TB的數(shù)據(jù),根據(jù)法規(guī)需求,這些數(shù)據(jù)還要保存至少30年以上,自動駕駛公司每天還需要不斷訓練新數(shù)據(jù),以實現(xiàn)模型的優(yōu)化。光自動駕駛這一個場景的數(shù)據(jù)存儲、應用、流動和歸檔就充滿了挑戰(zhàn)。
“面對人工智能應用帶來的挑戰(zhàn),一定不能只用一種技術來解決,而是需要在存儲架構層進行創(chuàng)新。” 西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務總經(jīng)理劉鋼表示。
存儲架構走向變革
歸根結底,數(shù)字經(jīng)濟的快速發(fā)展,讓智慧應用在數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)處理等方面的需求比以往有了指數(shù)級的提升。如何讓這些海量數(shù)據(jù)能夠存得下、用得快、流得動和管得好,是當下存儲架構最具挑戰(zhàn)的難題。
為此,西部數(shù)據(jù)開出了它的“組合藥方”:去中心化分布式存儲、分層存儲和分區(qū)存儲三大創(chuàng)新存儲架構。
首先,去中心化分布式存儲解決的是讓更多數(shù)據(jù)存下來的難題。眾所周知,隨著區(qū)塊鏈、人工智能等技術逐漸在業(yè)務場景中走向融合,基于這些技術的智慧應用正在數(shù)字版權、供應鏈管理、醫(yī)療健康等多個行業(yè)誕生,隨之而來的就是海量數(shù)據(jù),而去中心化分布式存儲將大幅降低存儲成本,存儲更多數(shù)據(jù)。
其次,分層存儲解決的是讓存儲資源可以物盡其用,充分滿足數(shù)據(jù)生命周期不同階段對于存儲資源的需求。劉鋼透露,西部數(shù)據(jù)根據(jù)數(shù)據(jù)對存儲時延、容量的需求,將分層存儲架構劃分為五層:極熱存儲、熱存儲、溫存儲、冷存儲和極冷存儲,并且每一層都有對應產(chǎn)品來保障。
比如像一些內(nèi)存計算、數(shù)據(jù)分析類的場景,對于數(shù)據(jù)處理性能極度渴望,就更加適合采用極熱存儲;而自動駕駛等AI場景,對于數(shù)據(jù)處理性能、容量都有著很高的要求,采用熱存儲就非常符合。“對于極熱存儲和熱存儲、溫存儲,西部數(shù)據(jù)都有著高性能SSD、主流SSD等不同方案來滿足需求?!眲摻榻B道。
眾所周知,在智慧應用遍地開花的今天,閃存的容量、性能和成本正變得至關重要。尤其是當前SSD容量點正在從4TB升級到8TB的關鍵時期,對于閃存廠商的產(chǎn)品、技術、產(chǎn)能是一場大考。劉鋼直言:“如今,大規(guī)模產(chǎn)能對于SSD很關鍵,西部數(shù)據(jù)和鎧俠戰(zhàn)友全球三分之一的份額,可以在產(chǎn)能層面提供充足的保障。”
此外,西部數(shù)據(jù)在閃存上的技術也讓其在智慧應用中游刃有余,“西部數(shù)據(jù)在2月已經(jīng)發(fā)布了第六代162層3D NAND技術,橫向單元陣列密度比上一代提升了10%,晶圓尺寸減少40%,IO性能提升66%,可以滿足不斷增長的數(shù)據(jù)處理性能需求?!眲撗a充道:“在充足產(chǎn)能和領先技術的基礎上,西部數(shù)據(jù)還在控制器、高性能固件等縱向集成上進行優(yōu)化,確保閃存在容量、性能、成本、功耗上實現(xiàn)最優(yōu)?!?/p>
第三個創(chuàng)新存儲架構則是分區(qū)存儲,它致力于解決性能、規(guī)模、成本等問題,不再需要去過將近28%的榮譽空間,性能和QoS大幅提升,最大程度提升了存儲規(guī)模和利用率,并且有效降低存儲的TCO。
更加重要的是,西部數(shù)據(jù)的創(chuàng)新存儲架構已經(jīng)在云服務、生物醫(yī)藥、區(qū)塊鏈等多個業(yè)務場景中得到了充分實踐與考驗。
西部數(shù)據(jù)與浪潮存儲:智算時代合作典范
面對智算時代多元化、巨量化和生態(tài)離散化的挑戰(zhàn),不是一家公司所能應對的。為此,浪潮在本次IPF大會上提出了元腦生態(tài)2.0計劃,打造智算時代開放包容生態(tài)體系,以吸納更多合作伙伴到智算產(chǎn)業(yè)大生態(tài)之中。
事實上,西部數(shù)據(jù)與浪潮存儲堪稱成功合作的典范,針對智慧業(yè)務場景,雙方緊密配合,攜手打造解決方案。例如,西部數(shù)據(jù)與浪潮存儲推出聯(lián)合解決方案,可以提供極致的存儲容量,同時降低集群的節(jié)點數(shù)量,與傳統(tǒng)方案相比,大幅降低功耗和機柜空間成本。
此外,浪潮存儲在元腦生態(tài)2.0基礎上推出了“元腦新存儲生態(tài)”,聯(lián)合各類合作伙伴構建“以用戶為中心、以應用為導向”的場景共同體,強調(diào)存儲系統(tǒng)針對智慧應用將走向場景化、細分化、個性化,這恰恰與西部數(shù)據(jù)所強調(diào)針對業(yè)務數(shù)據(jù)特性采用不同技術的觀點高度契合。未來,西部數(shù)據(jù)與浪潮存儲在元腦新存儲生態(tài)建設上同樣有著巨大的合作空間。
李輝表示:“未來浪潮存儲基于‘云存智用運籌新數(shù)據(jù)’理念,將與合作伙伴持續(xù)加強合作,不斷以創(chuàng)新的數(shù)據(jù)基礎設施解決方案,應對市場多樣化的需求,為行業(yè)用戶創(chuàng)造更多價值?!?/p>