上海2018年12月14日電 /美通社/ -- 近年來(lái)，深度學(xué)習(xí)作為AI領(lǐng)域較受歡迎的技能之一，在圖像、語(yǔ)音識(shí)別等眾多領(lǐng)域都有著重大的技術(shù)飛躍，越來(lái)越多的公司在大力開(kāi)發(fā)基于深度學(xué)習(xí)的能力。深度學(xué)習(xí)始于研究人腦神經(jīng)元，其涉及如概率論、統(tǒng)計(jì)學(xué)等多個(gè)學(xué)科，目的是使機(jī)器有能力自主“學(xué)習(xí)”，輔助人們檢測(cè)、決策，便利人們的生活，隨著深度學(xué)習(xí)的不斷發(fā)展，也在不斷拓展整個(gè)AI的應(yīng)用。深度學(xué)習(xí)技術(shù)在當(dāng)前行業(yè)智能化轉(zhuǎn)型的過(guò)程中能夠發(fā)揮的作用已經(jīng)不言而喻，因此，選擇一款真正便于應(yīng)用的高度集成化深度學(xué)習(xí)平臺(tái)就成了決策者們需要考慮的問(wèn)題。
近日，七牛云聯(lián)合Gartner最新發(fā)布了一份《深度學(xué)習(xí)平臺(tái)完全實(shí)踐指南》（A Complete Practical Guide of Deep Learning Platform）白皮書，該白皮書從多角度闡述了用戶如何選擇最能滿足業(yè)務(wù)需求場(chǎng)景的深度學(xué)習(xí)平臺(tái)，并展示深度學(xué)習(xí)技術(shù)在今后行業(yè)應(yīng)用中體現(xiàn)的巨大價(jià)值，本文則是結(jié)合Gartner白皮書進(jìn)行了編譯解讀。
深度學(xué)習(xí)平臺(tái)解讀：十項(xiàng)綜合評(píng)價(jià)標(biāo)準(zhǔn)需參考
為了更好地滿足業(yè)務(wù)場(chǎng)景并持續(xù)提高研發(fā)能力，國(guó)內(nèi)外技術(shù)實(shí)力雄厚的公司都紛紛發(fā)力自研深度學(xué)習(xí)平臺(tái)。如 Google Cloud Platform、AWS Machine Learning、騰訊DI-X、阿里云PAI、七牛云AVA等。各大深度學(xué)習(xí)平臺(tái)都擁有著自身獨(dú)到的優(yōu)勢(shì)，然而對(duì)于想要將深度學(xué)習(xí)技術(shù)與業(yè)務(wù)場(chǎng)景充分結(jié)合的使用者來(lái)說(shuō)，有些標(biāo)準(zhǔn)是在搭建、選擇平臺(tái)時(shí)需必須遵循的。
在本篇報(bào)告中，則詳細(xì)介紹了選擇深度學(xué)習(xí)平臺(tái)需要參考的十項(xiàng)綜合評(píng)價(jià)標(biāo)準(zhǔn)，主要包括：
1、支持?jǐn)?shù)據(jù)預(yù)處理；
2、性能指標(biāo)可視化；
3、支持全部主流框架，如MXNET、TENSORFLOW、PYTORCH、CAFFE等；
4、訓(xùn)練參數(shù)交換延遲低；
5、具有強(qiáng)可擴(kuò)展性；
6、用戶友好度高；
7、私有化部署時(shí)間短；
8、存儲(chǔ)與計(jì)算分離；
9、調(diào)參及迭代優(yōu)化；
10、安全性
為了適應(yīng)用戶不停變化的需求，深度學(xué)習(xí)平臺(tái)則需要不斷自我演進(jìn)，并適配不同的框架和算法，這使得搭建使用深度學(xué)習(xí)平臺(tái)的過(guò)程遇到諸多挑戰(zhàn)，但在當(dāng)下大規(guī)模的深度訓(xùn)練平臺(tái)傾向于數(shù)據(jù)存儲(chǔ)和計(jì)算獨(dú)立擴(kuò)展，并通過(guò)訓(xùn)練過(guò)程的優(yōu)化，滿足各種各樣的挑戰(zhàn)。
在本篇報(bào)告中，則明確指出了應(yīng)對(duì)方案，如：基于云存儲(chǔ)搭建深度訓(xùn)練平臺(tái)，存儲(chǔ)系統(tǒng)具有良好的擴(kuò)展性；提供高效便捷的數(shù)據(jù)集管理，支持格式自動(dòng)轉(zhuǎn)換；定制化計(jì)算策略，提升GPU使用效率；優(yōu)化流程，提升訓(xùn)練效率；高性能深度學(xué)習(xí)平臺(tái)等應(yīng)對(duì)方案。
綜上所述，深度訓(xùn)練的過(guò)程中難免會(huì)遇到各種挑戰(zhàn)，但如果能利用好高性能的深度學(xué)習(xí)平臺(tái)，這些挑戰(zhàn)就能被逐一解決。
探尋深度學(xué)習(xí)新路徑：AVA深度學(xué)習(xí)平臺(tái)四大優(yōu)勢(shì)
AVA深度學(xué)習(xí)平臺(tái)基于通用服務(wù)器和標(biāo)準(zhǔn)開(kāi)源組件搭建，并在其中完成大量?jī)?yōu)化。從以下AVA平臺(tái)的整體架構(gòu)圖可見(jiàn)，存儲(chǔ)和計(jì)算集群獨(dú)立建設(shè)、演進(jìn)。由于存儲(chǔ)完全搭建在云端，能夠同時(shí)對(duì)接各主流廠商的對(duì)象存儲(chǔ)，使訓(xùn)練不受地域限制，并配以本地高速緩存，滿足高性能和高擴(kuò)展性要求。AVA深度學(xué)習(xí)平臺(tái)使用Kubernetes負(fù)責(zé)管理GPU集群，并配以自定義的調(diào)度器和Quota管理框架，充分發(fā)揮GPU資源，提高訓(xùn)練速度。
報(bào)告中顯示，七牛云AVA深度學(xué)習(xí)平臺(tái)具有如下優(yōu)勢(shì)：
1、通過(guò)資源調(diào)度較大化GPU利用率：調(diào)度算法設(shè)計(jì)的好壞對(duì)訓(xùn)練速度和效果有至關(guān)重要的影響。對(duì)此，AVA做了以下優(yōu)化，調(diào)度時(shí)選取具有Affinity的GPU、通過(guò)配置，可選均衡調(diào)度或集中調(diào)度方式，缺省采取集中調(diào)度模式。此外，由于不同訓(xùn)練任務(wù)之間可能需要通訊，而位于同一臺(tái)機(jī)器上兩個(gè)訓(xùn)練任務(wù)間的通訊效率明顯高于將任務(wù)分置于兩臺(tái)機(jī)器。通過(guò)指定策略，AVA可以通過(guò)指定策略，采取不同的調(diào)度方法，適應(yīng)不同的訓(xùn)練需求。
2、安裝簡(jiǎn)單，易于集成和使用：AVA平臺(tái)所有服務(wù)均基于Docker和Kubernetes打造，并以Docker鏡像加Kubernetes部署Yaml腳本方式對(duì)外提供服務(wù)。AVA平臺(tái)可同時(shí)部署在公有云和私有云。對(duì)接常用的公有云標(biāo)準(zhǔn)組件，只需一天即可完成部署調(diào)試，而對(duì)于比較復(fù)雜的私有云環(huán)境，也只需2到3天即可完成部署和調(diào)試過(guò)程。
3、部署靈活，支持公有云和私有云：AVA平臺(tái)具有很大的靈活性，既可以部署在私有云環(huán)境中，也可以部署在不同的公有云環(huán)境中，且能避免數(shù)據(jù)或服務(wù)局限在單一服務(wù)商。用戶完成部署后，能夠方便地從公有云遷到私有云，反之亦然。對(duì)于數(shù)據(jù)較為敏感的行業(yè)，用戶可以將AVA平臺(tái)部署于私有存儲(chǔ)系統(tǒng)，在數(shù)據(jù)不出島的情況下進(jìn)行訓(xùn)練。此外訓(xùn)練平臺(tái)和數(shù)據(jù)可以分開(kāi)部署，使用存放在AWS或Azure的數(shù)據(jù)在AVA平臺(tái)進(jìn)行訓(xùn)練，不需要數(shù)據(jù)遷移。
4、高效的調(diào)參和迭代管理：參數(shù)的選擇對(duì)于深度訓(xùn)練的效果同樣重要。為了獲得高精度的模型，深度訓(xùn)練需要反復(fù)觀察訓(xùn)練精度和損失率，并不停調(diào)整模型層次結(jié)構(gòu)、學(xué)習(xí)率等參數(shù)。AVA平臺(tái)能夠整合訓(xùn)練過(guò)程，使用高效搜索和排序算法，并根據(jù)預(yù)定義規(guī)則，自動(dòng)或半自動(dòng)挑選網(wǎng)絡(luò)模型及組合不同的訓(xùn)練參數(shù)，批量運(yùn)行深度訓(xùn)練。
AI時(shí)代下，AVA深度學(xué)習(xí)平臺(tái)創(chuàng)造更多價(jià)值
可以看到，有了AVA深度學(xué)習(xí)平臺(tái)的依托，算法人員能在短時(shí)間內(nèi)實(shí)現(xiàn)許多高難度訓(xùn)練，并且將其運(yùn)用于實(shí)際生產(chǎn)中。對(duì)此，報(bào)告中基于AVA深度學(xué)習(xí)平臺(tái)應(yīng)用，能夠?yàn)樾袠I(yè)帶來(lái)的價(jià)值進(jìn)行了舉例說(shuō)明。
在內(nèi)容安全審核方面，對(duì)于企業(yè)來(lái)說(shuō)，如果全部依靠人工完成針對(duì)色情、暴恐、政治敏感內(nèi)容的識(shí)別，將會(huì)造成大量的人力、物力、管理等額外成本。原本每人每日只能審核幾百?gòu)埖膱D片，在結(jié)合AVA深度學(xué)習(xí)平臺(tái)后，這項(xiàng)應(yīng)用的效率得到了指數(shù)級(jí)的提升，圖片、視頻日處理量可達(dá)十億級(jí)規(guī)模，毫秒級(jí)處理結(jié)果響應(yīng)。
在智慧城市方面，城市建筑垃圾產(chǎn)出大，污染嚴(yán)重，要解決這個(gè)問(wèn)題渣土車超速行駛、占道、沿路拋灑等的問(wèn)題，可以通過(guò)計(jì)算機(jī)視覺(jué)，利用交管攝像頭對(duì)渣土車進(jìn)行識(shí)別，對(duì)違法行為實(shí)現(xiàn)智能告警，形成對(duì)渣土運(yùn)營(yíng)的“出土--運(yùn)輸--回填”監(jiān)管閉環(huán)，大幅提升治理效率與效果?；趶?qiáng)大GPU集群算力和優(yōu)秀的深度學(xué)習(xí)算法的AI模型，能夠在AVA平臺(tái)上快速迭代，并結(jié)合用戶的反饋不斷進(jìn)行升級(jí)。通過(guò)私有化部署保障數(shù)據(jù)安全，正是城市運(yùn)營(yíng)與管理所需要的。
在智慧廣電方面，廣電行業(yè)存儲(chǔ)的數(shù)據(jù)巨大，每個(gè)頻道每年累計(jì)點(diǎn)播的數(shù)據(jù)量可達(dá)百萬(wàn)小時(shí)級(jí)別。并且，由于新聞具有時(shí)效性，看似價(jià)值密度并不很高的數(shù)據(jù)，如果得到有效利用，實(shí)際上是極具社會(huì)價(jià)值的。目前的云播控和云媒資，分別對(duì)應(yīng)直播場(chǎng)景和點(diǎn)播場(chǎng)景，這些產(chǎn)品都是基于深度學(xué)習(xí)的。結(jié)合AVA后，直播調(diào)度和直播互動(dòng)的效率提升50%，并能節(jié)約20%的人力；媒資管理效率提升30%，并能節(jié)約50%的人力。一個(gè)優(yōu)秀的深度學(xué)習(xí)平臺(tái)就像一個(gè)地基，有了平穩(wěn)的基礎(chǔ)，才能夠開(kāi)始搭建目標(biāo)分割、特征學(xué)習(xí)、動(dòng)態(tài)回歸、時(shí)序分析、目標(biāo)角度歸一化等的“磚頭”，將業(yè)務(wù)細(xì)細(xì)打磨。
除此之外，報(bào)告中還列舉了深度學(xué)習(xí)在醫(yī)療、交管、物流、教育等行業(yè)的應(yīng)用價(jià)值。從報(bào)告中可以看到，深度學(xué)習(xí)的價(jià)值巨大，目前可預(yù)見(jiàn)的未來(lái)發(fā)展也很廣闊。除了上文的應(yīng)用，能做的還有更多：結(jié)合虛擬現(xiàn)實(shí)，將AR應(yīng)用于更多的如看房、游戲等的商業(yè)場(chǎng)景，多行業(yè)開(kāi)發(fā)工業(yè)機(jī)器人等等；家居助理、文本翻譯、智能問(wèn)答、無(wú)人駕駛、航天航空、軍事機(jī)器等的應(yīng)用都將越來(lái)越成熟。在實(shí)現(xiàn)大量應(yīng)用的過(guò)程中，充分利用深度學(xué)習(xí)平臺(tái)來(lái)實(shí)現(xiàn)算法優(yōu)化將是產(chǎn)品告訴落地的關(guān)鍵。深度學(xué)習(xí)技術(shù)是未來(lái)的大勢(shì)所趨，選擇優(yōu)秀的深度學(xué)習(xí)平臺(tái)則是當(dāng)下的最優(yōu)選擇和必經(jīng)之路。
想了解更多《深度學(xué)習(xí)平臺(tái)完全實(shí)踐指南》的相關(guān)內(nèi)容，可點(diǎn)擊詳細(xì)報(bào)告：
Gartner白皮書英文版鏈接：https://www.gartner.com/technology/media-products/newsletters/qiniu/1-5PAX8DA/client1.html#2
Gartner白皮書中文版鏈接：https://mars-assets.qnssl.com/gartner_atlab_white_book.pdf
