北京2020年7月14日 /美通社/ -- 數(shù)據(jù)之于人工智能就如同燃油之于汽車。人工智能模型開發(fā)需要輸入海量訓(xùn)練數(shù)據(jù)，單個樣本數(shù)據(jù)集大小即可達到上百GB，如果采用人工拷貝、搬運數(shù)據(jù)，不僅費時費力，而且存在數(shù)據(jù)沖突和數(shù)據(jù)安全風(fēng)險，在這種情況下，數(shù)據(jù)對于AI模型訓(xùn)練來說不是“加油”，而是成為模型開發(fā)的瓶頸，影響企業(yè)AI應(yīng)用效率。浪潮AIStation企業(yè)級人工智能開發(fā)平臺，可以一站式進行AI模型開發(fā)和部署，在數(shù)據(jù)管理方面可實現(xiàn)集中管理，兼顧讀取速度與安全性，打破數(shù)據(jù)孤島和IO瓶頸，幫助用戶獲得200%-300%的開發(fā)效率提升。
可視化&多種數(shù)據(jù)訪問方式 兼顧便捷與數(shù)據(jù)安全
AI開發(fā)涉及的數(shù)據(jù)包括樣本數(shù)據(jù)集、模型文件等，種類非常多，格式和特性各異。此外，AI開發(fā)需要企業(yè)內(nèi)各業(yè)務(wù)組的協(xié)同工作，必須有完善的數(shù)據(jù)管理機制保障數(shù)據(jù)的流通和共享，否則就會存在數(shù)據(jù)冗余、版本沖突、權(quán)限控制等方面的問題。
AIStation平臺內(nèi)置數(shù)據(jù)管理模塊，可無縫對接各類存儲系統(tǒng)，提供可視化界面對數(shù)據(jù)進行集中管理。開發(fā)人員可在數(shù)據(jù)管理界面快速上傳數(shù)據(jù)，并通過目錄掛載的方式實時調(diào)取數(shù)據(jù)，進行數(shù)據(jù)預(yù)處理、模型開發(fā)、模型調(diào)試等工作。訓(xùn)練結(jié)束后，用戶可按需保存、上傳、共享模型文件。
AIStation提供了個人數(shù)據(jù)、組內(nèi)數(shù)據(jù)和公共數(shù)據(jù)三種數(shù)據(jù)訪問控制方式，滿足了企業(yè)內(nèi)部用戶數(shù)據(jù)隔離與共享的需求。并為每個用戶和部門創(chuàng)建了不同的命名空間，以及相應(yīng)的權(quán)限控制功能，讓開發(fā)人員能夠根據(jù)業(yè)務(wù)需求靈活共享數(shù)據(jù)，并保障數(shù)據(jù)安全。
數(shù)據(jù)緩存加速，訓(xùn)練效率提升200%-300%
數(shù)據(jù)輸入輸出是影響模型訓(xùn)練周期的重要因素。即使GPU性能再強，也需要高性能的輸入/輸出系統(tǒng)不斷的將數(shù)據(jù)傳送給GPU進行運算。輸入的樣本數(shù)據(jù)通常是小文件，并且在迭代過程中會隨機讀取樣本進行訓(xùn)練，產(chǎn)生較高的隨機讀負載。而AI企業(yè)一般使用共享存儲或者分布式存儲管理數(shù)據(jù)，計算節(jié)點通過網(wǎng)絡(luò)掛載的方式訪問存儲數(shù)據(jù)，這樣即便使用萬兆網(wǎng)絡(luò)或者Infiniband網(wǎng)絡(luò)，也有可能存在數(shù)據(jù)帶寬不能滿足GPU計算輸入的問題。
AIStation綜合考慮AI計算對數(shù)據(jù)I/O的需求以及企業(yè)內(nèi)部的實際場景，通過數(shù)據(jù)緩存機制滿足高性能計算需求，可讓模型訓(xùn)練效率獲得200%-300%的提升，縮短模型開發(fā)周期。
AIStation可在各計算節(jié)點劃分數(shù)據(jù)緩存區(qū)域，用來臨時存放用戶訓(xùn)練所需的樣本數(shù)據(jù)，通過本地SSD盤的高速I/O降低數(shù)據(jù)讀寫延遲。此外，AIStation會根據(jù)節(jié)點的數(shù)據(jù)緩存情況自動調(diào)度訓(xùn)練任務(wù)，從而避免訓(xùn)練數(shù)據(jù)的重復(fù)下載，節(jié)省數(shù)據(jù)加載時間，加速模型訓(xùn)練進度。并且支持數(shù)據(jù)自動下載和數(shù)據(jù)緩存管理。
安全沙箱技術(shù)，為數(shù)據(jù)隱私護航
數(shù)據(jù)安全對企業(yè)AI開發(fā)至關(guān)重要，一套優(yōu)秀的數(shù)據(jù)管理解決方案必須能夠保證數(shù)據(jù)安全，確保數(shù)據(jù)不會發(fā)生增加、修改、丟失和泄露等。
AIStation采用安全沙箱技術(shù)，將企業(yè)數(shù)據(jù)存儲區(qū)域與個人數(shù)據(jù)區(qū)分開，保證數(shù)據(jù)隱私安全。管理員可以設(shè)置數(shù)據(jù)下載權(quán)限，限制指定用戶或用戶組的下載功能，使涉密數(shù)據(jù)只能在平臺內(nèi)部使用，保障企業(yè)數(shù)據(jù)的安全性。
此外，AIStation可實現(xiàn)數(shù)據(jù)自動多副本備份，降低宕機等原因?qū)е碌南到y(tǒng)中斷對AI開發(fā)的影響。
浪潮AIStation平臺針對AI開發(fā)中的數(shù)據(jù)管理問題輸出整體解決方案，可以幫助企業(yè)用戶建立穩(wěn)定高性能的數(shù)據(jù)管理機制，消除數(shù)據(jù)安全、數(shù)據(jù)沖突、帶寬延時等問題，讓模型訓(xùn)練效率獲得200%-300%的提升，顯著提升企業(yè)AI研發(fā)效率。
除了數(shù)據(jù)，AIStation還能高效管理計算資源、開發(fā)環(huán)境，幫助AI用戶提高計算資源利用率，秒級構(gòu)建開發(fā)環(huán)境，加速AI研發(fā)創(chuàng)新進程。
