上海2018年12月14日電 /美通社/ -- 近年來，深度學(xué)習(xí)作為AI領(lǐng)域較受歡迎的技能之一，在圖像、語音識別等眾多領(lǐng)域都有著重大的技術(shù)飛躍，越來越多的公司在大力開發(fā)基于深度學(xué)習(xí)的能力。深度學(xué)習(xí)始于研究人腦神經(jīng)元，其涉及如概率論、統(tǒng)計學(xué)等多個學(xué)科，目的是使機(jī)器有能力自主“學(xué)習(xí)”，輔助人們檢測、決策，便利人們的生活，隨著深度學(xué)習(xí)的不斷發(fā)展，也在不斷拓展整個AI的應(yīng)用。深度學(xué)習(xí)技術(shù)在當(dāng)前行業(yè)智能化轉(zhuǎn)型的過程中能夠發(fā)揮的作用已經(jīng)不言而喻，因此，選擇一款真正便于應(yīng)用的高度集成化深度學(xué)習(xí)平臺就成了決策者們需要考慮的問題。
近日，七牛云聯(lián)合Gartner最新發(fā)布了一份《深度學(xué)習(xí)平臺完全實踐指南》（A Complete Practical Guide of Deep Learning Platform）白皮書，該白皮書從多角度闡述了用戶如何選擇最能滿足業(yè)務(wù)需求場景的深度學(xué)習(xí)平臺，并展示深度學(xué)習(xí)技術(shù)在今后行業(yè)應(yīng)用中體現(xiàn)的巨大價值，本文則是結(jié)合Gartner白皮書進(jìn)行了編譯解讀。
深度學(xué)習(xí)平臺解讀：十項綜合評價標(biāo)準(zhǔn)需參考
為了更好地滿足業(yè)務(wù)場景并持續(xù)提高研發(fā)能力，國內(nèi)外技術(shù)實力雄厚的公司都紛紛發(fā)力自研深度學(xué)習(xí)平臺。如 Google Cloud Platform、AWS Machine Learning、騰訊DI-X、阿里云PAI、七牛云AVA等。各大深度學(xué)習(xí)平臺都擁有著自身獨到的優(yōu)勢，然而對于想要將深度學(xué)習(xí)技術(shù)與業(yè)務(wù)場景充分結(jié)合的使用者來說，有些標(biāo)準(zhǔn)是在搭建、選擇平臺時需必須遵循的。
在本篇報告中，則詳細(xì)介紹了選擇深度學(xué)習(xí)平臺需要參考的十項綜合評價標(biāo)準(zhǔn)，主要包括：
1、支持?jǐn)?shù)據(jù)預(yù)處理；
2、性能指標(biāo)可視化；
3、支持全部主流框架，如MXNET、TENSORFLOW、PYTORCH、CAFFE等；
4、訓(xùn)練參數(shù)交換延遲低；
5、具有強(qiáng)可擴(kuò)展性；
6、用戶友好度高；
7、私有化部署時間短；
8、存儲與計算分離；
9、調(diào)參及迭代優(yōu)化；
10、安全性
為了適應(yīng)用戶不停變化的需求，深度學(xué)習(xí)平臺則需要不斷自我演進(jìn)，并適配不同的框架和算法，這使得搭建使用深度學(xué)習(xí)平臺的過程遇到諸多挑戰(zhàn)，但在當(dāng)下大規(guī)模的深度訓(xùn)練平臺傾向于數(shù)據(jù)存儲和計算獨立擴(kuò)展，并通過訓(xùn)練過程的優(yōu)化，滿足各種各樣的挑戰(zhàn)。
在本篇報告中，則明確指出了應(yīng)對方案，如：基于云存儲搭建深度訓(xùn)練平臺，存儲系統(tǒng)具有良好的擴(kuò)展性；提供高效便捷的數(shù)據(jù)集管理，支持格式自動轉(zhuǎn)換；定制化計算策略，提升GPU使用效率；優(yōu)化流程，提升訓(xùn)練效率；高性能深度學(xué)習(xí)平臺等應(yīng)對方案。
綜上所述，深度訓(xùn)練的過程中難免會遇到各種挑戰(zhàn)，但如果能利用好高性能的深度學(xué)習(xí)平臺，這些挑戰(zhàn)就能被逐一解決。
探尋深度學(xué)習(xí)新路徑：AVA深度學(xué)習(xí)平臺四大優(yōu)勢
AVA深度學(xué)習(xí)平臺基于通用服務(wù)器和標(biāo)準(zhǔn)開源組件搭建，并在其中完成大量優(yōu)化。從以下AVA平臺的整體架構(gòu)圖可見，存儲和計算集群獨立建設(shè)、演進(jìn)。由于存儲完全搭建在云端，能夠同時對接各主流廠商的對象存儲，使訓(xùn)練不受地域限制，并配以本地高速緩存，滿足高性能和高擴(kuò)展性要求。AVA深度學(xué)習(xí)平臺使用Kubernetes負(fù)責(zé)管理GPU集群，并配以自定義的調(diào)度器和Quota管理框架，充分發(fā)揮GPU資源，提高訓(xùn)練速度。
報告中顯示，七牛云AVA深度學(xué)習(xí)平臺具有如下優(yōu)勢：
1、通過資源調(diào)度較大化GPU利用率：調(diào)度算法設(shè)計的好壞對訓(xùn)練速度和效果有至關(guān)重要的影響。對此，AVA做了以下優(yōu)化，調(diào)度時選取具有Affinity的GPU、通過配置，可選均衡調(diào)度或集中調(diào)度方式，缺省采取集中調(diào)度模式。此外，由于不同訓(xùn)練任務(wù)之間可能需要通訊，而位于同一臺機(jī)器上兩個訓(xùn)練任務(wù)間的通訊效率明顯高于將任務(wù)分置于兩臺機(jī)器。通過指定策略，AVA可以通過指定策略，采取不同的調(diào)度方法，適應(yīng)不同的訓(xùn)練需求。
2、安裝簡單，易于集成和使用：AVA平臺所有服務(wù)均基于Docker和Kubernetes打造，并以Docker鏡像加Kubernetes部署Yaml腳本方式對外提供服務(wù)。AVA平臺可同時部署在公有云和私有云。對接常用的公有云標(biāo)準(zhǔn)組件，只需一天即可完成部署調(diào)試，而對于比較復(fù)雜的私有云環(huán)境，也只需2到3天即可完成部署和調(diào)試過程。
3、部署靈活，支持公有云和私有云：AVA平臺具有很大的靈活性，既可以部署在私有云環(huán)境中，也可以部署在不同的公有云環(huán)境中，且能避免數(shù)據(jù)或服務(wù)局限在單一服務(wù)商。用戶完成部署后，能夠方便地從公有云遷到私有云，反之亦然。對于數(shù)據(jù)較為敏感的行業(yè)，用戶可以將AVA平臺部署于私有存儲系統(tǒng)，在數(shù)據(jù)不出島的情況下進(jìn)行訓(xùn)練。此外訓(xùn)練平臺和數(shù)據(jù)可以分開部署，使用存放在AWS或Azure的數(shù)據(jù)在AVA平臺進(jìn)行訓(xùn)練，不需要數(shù)據(jù)遷移。
4、高效的調(diào)參和迭代管理：參數(shù)的選擇對于深度訓(xùn)練的效果同樣重要。為了獲得高精度的模型，深度訓(xùn)練需要反復(fù)觀察訓(xùn)練精度和損失率，并不停調(diào)整模型層次結(jié)構(gòu)、學(xué)習(xí)率等參數(shù)。AVA平臺能夠整合訓(xùn)練過程，使用高效搜索和排序算法，并根據(jù)預(yù)定義規(guī)則，自動或半自動挑選網(wǎng)絡(luò)模型及組合不同的訓(xùn)練參數(shù)，批量運行深度訓(xùn)練。
AI時代下，AVA深度學(xué)習(xí)平臺創(chuàng)造更多價值
可以看到，有了AVA深度學(xué)習(xí)平臺的依托，算法人員能在短時間內(nèi)實現(xiàn)許多高難度訓(xùn)練，并且將其運用于實際生產(chǎn)中。對此，報告中基于AVA深度學(xué)習(xí)平臺應(yīng)用，能夠為行業(yè)帶來的價值進(jìn)行了舉例說明。
在內(nèi)容安全審核方面，對于企業(yè)來說，如果全部依靠人工完成針對色情、暴恐、政治敏感內(nèi)容的識別，將會造成大量的人力、物力、管理等額外成本。原本每人每日只能審核幾百張的圖片，在結(jié)合AVA深度學(xué)習(xí)平臺后，這項應(yīng)用的效率得到了指數(shù)級的提升，圖片、視頻日處理量可達(dá)十億級規(guī)模，毫秒級處理結(jié)果響應(yīng)。
在智慧城市方面，城市建筑垃圾產(chǎn)出大，污染嚴(yán)重，要解決這個問題渣土車超速行駛、占道、沿路拋灑等的問題，可以通過計算機(jī)視覺，利用交管攝像頭對渣土車進(jìn)行識別，對違法行為實現(xiàn)智能告警，形成對渣土運營的“出土--運輸--回填”監(jiān)管閉環(huán)，大幅提升治理效率與效果?；趶?qiáng)大GPU集群算力和優(yōu)秀的深度學(xué)習(xí)算法的AI模型，能夠在AVA平臺上快速迭代，并結(jié)合用戶的反饋不斷進(jìn)行升級。通過私有化部署保障數(shù)據(jù)安全，正是城市運營與管理所需要的。
在智慧廣電方面，廣電行業(yè)存儲的數(shù)據(jù)巨大，每個頻道每年累計點播的數(shù)據(jù)量可達(dá)百萬小時級別。并且，由于新聞具有時效性，看似價值密度并不很高的數(shù)據(jù)，如果得到有效利用，實際上是極具社會價值的。目前的云播控和云媒資，分別對應(yīng)直播場景和點播場景，這些產(chǎn)品都是基于深度學(xué)習(xí)的。結(jié)合AVA后，直播調(diào)度和直播互動的效率提升50%，并能節(jié)約20%的人力；媒資管理效率提升30%，并能節(jié)約50%的人力。一個優(yōu)秀的深度學(xué)習(xí)平臺就像一個地基，有了平穩(wěn)的基礎(chǔ)，才能夠開始搭建目標(biāo)分割、特征學(xué)習(xí)、動態(tài)回歸、時序分析、目標(biāo)角度歸一化等的“磚頭”，將業(yè)務(wù)細(xì)細(xì)打磨。
除此之外，報告中還列舉了深度學(xué)習(xí)在醫(yī)療、交管、物流、教育等行業(yè)的應(yīng)用價值。從報告中可以看到，深度學(xué)習(xí)的價值巨大，目前可預(yù)見的未來發(fā)展也很廣闊。除了上文的應(yīng)用，能做的還有更多：結(jié)合虛擬現(xiàn)實，將AR應(yīng)用于更多的如看房、游戲等的商業(yè)場景，多行業(yè)開發(fā)工業(yè)機(jī)器人等等；家居助理、文本翻譯、智能問答、無人駕駛、航天航空、軍事機(jī)器等的應(yīng)用都將越來越成熟。在實現(xiàn)大量應(yīng)用的過程中，充分利用深度學(xué)習(xí)平臺來實現(xiàn)算法優(yōu)化將是產(chǎn)品告訴落地的關(guān)鍵。深度學(xué)習(xí)技術(shù)是未來的大勢所趨，選擇優(yōu)秀的深度學(xué)習(xí)平臺則是當(dāng)下的最優(yōu)選擇和必經(jīng)之路。
想了解更多《深度學(xué)習(xí)平臺完全實踐指南》的相關(guān)內(nèi)容，可點擊詳細(xì)報告：
Gartner白皮書英文版鏈接：https://www.gartner.com/technology/media-products/newsletters/qiniu/1-5PAX8DA/client1.html#2
Gartner白皮書中文版鏈接：https://mars-assets.qnssl.com/gartner_atlab_white_book.pdf
