深度學(xué)習(xí)理論與實(shí)踐 課件 第2章 深度學(xué)習(xí)框架及其對(duì)比

第2章深度學(xué)習(xí)框架及其對(duì)比第一節(jié)什么是深度學(xué)習(xí)框架什么是深度學(xué)習(xí)框架TensorFlow流行框架Pytorch深度學(xué)習(xí)采用

“端到端”的學(xué)習(xí)模式，在很大程度上減輕負(fù)擔(dān)。但隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，模型的復(fù)雜度也在不斷提升?？蚣艽嬖诘囊饬x就是屏蔽底層的細(xì)節(jié)，使研究者可以專(zhuān)注于模型結(jié)構(gòu)。Caffe第二節(jié)PyTorch的特點(diǎn)和概述PyTorch簡(jiǎn)介SWOT考慮到Python在計(jì)算科學(xué)領(lǐng)域的領(lǐng)先地位，以及其生態(tài)完整性和接口易用性，幾乎任何框架都不可避免地要提供Python接口。終于，在2017年，Torch的幕后團(tuán)隊(duì)推出了PyTorch。PyTorch不是簡(jiǎn)單地封裝LuaTorch提供Python接口，而是對(duì)Tensor之上的所有模塊進(jìn)行了重構(gòu)，并新增了最先進(jìn)的自動(dòng)求導(dǎo)系統(tǒng)，成為當(dāng)下最流行的動(dòng)態(tài)圖框架。PyTorch具有先進(jìn)設(shè)計(jì)理念的框架，其歷史可追溯到2002年就誕生于紐約大學(xué)的Torch。Torch使用了一種不是很大眾的語(yǔ)言Lua作為接口。Lua簡(jiǎn)潔高效，但由于其過(guò)于小眾，以至于很多人聽(tīng)說(shuō)要掌握Torch必須新學(xué)一門(mén)語(yǔ)言就望而卻步，但Lua其實(shí)是一門(mén)比Python還簡(jiǎn)單的語(yǔ)言。PyTorch的特點(diǎn)PyTorch既可以看作為加入了GPU支持的numpy。TensorFlow與Caffe都是命令式的編程語(yǔ)言，而且是靜態(tài)的，即首先必須構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)，然后一次又一次使用同樣的結(jié)構(gòu)；如果想要改變網(wǎng)絡(luò)的結(jié)構(gòu)，就必須從頭開(kāi)始。但是PyTorch通過(guò)一種反向自動(dòng)求導(dǎo)的技術(shù)，可以讓用戶零延遲地任意改變神經(jīng)網(wǎng)絡(luò)的行為。PyTorch的設(shè)計(jì)思路是線性、直觀且易于使用的，當(dāng)用戶執(zhí)行一行代碼時(shí)，它會(huì)忠實(shí)地執(zhí)行，所以當(dāng)用戶的代碼出現(xiàn)Bug的時(shí)候，可以通過(guò)這些信息輕松快捷地找到出錯(cuò)的代碼，不會(huì)讓用戶在Debug的時(shí)候因?yàn)殄e(cuò)誤的指向或者異步和不透明的引擎浪費(fèi)太多的時(shí)間。PyTorch的代碼相對(duì)于TensorFlow而言，更加簡(jiǎn)潔直觀，同時(shí)對(duì)于TensorFlow高度工業(yè)化的底層代碼，PyTorch的源代碼就要友好得多，更容易看懂。深入API，理解PyTorch底層肯定是一件令人高興的事。030102ThreeTwoOnePyTorch概述PyTorch最大優(yōu)勢(shì)是建立的神經(jīng)網(wǎng)絡(luò)是動(dòng)態(tài)的，可以非常容易的輸出每一步的調(diào)試結(jié)果，相比于其他框架來(lái)說(shuō)，調(diào)試起來(lái)十分方便。PyTorch的圖是隨著代碼的運(yùn)行逐步建立起來(lái)的，也就是說(shuō)使用者并不需要在一開(kāi)始就定義好全部的網(wǎng)絡(luò)的結(jié)構(gòu)，而是可以隨著編碼的進(jìn)行來(lái)一點(diǎn)一點(diǎn)的調(diào)試，相比于TensorFlow和Caffe的靜態(tài)圖而言，這種設(shè)計(jì)顯得更加貼近一般人的編碼習(xí)慣。第三節(jié)TensorFlow的特點(diǎn)和概述

數(shù)據(jù)流圖

節(jié)點(diǎn)

線TensorFlow簡(jiǎn)介T(mén)ensorFlow是一個(gè)采用數(shù)據(jù)流圖（dataflowgraphs）用于數(shù)值計(jì)算的開(kāi)源軟件庫(kù)。節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作，圖中的線（edges）則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。它靈活的架構(gòu)讓你可以在多種平臺(tái)上展開(kāi)計(jì)算，例如臺(tái)式計(jì)算機(jī)中的一個(gè)或多個(gè)CPU（或GPU），服務(wù)器，移動(dòng)設(shè)備等等。TensorFlow最初由Google大腦小組的研究員和工程師們開(kāi)發(fā)出來(lái)，用于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)方面的研究，但這個(gè)系統(tǒng)的通用性使其也可廣泛用于其他計(jì)算領(lǐng)域。數(shù)據(jù)流圖數(shù)據(jù)流圖用“結(jié)點(diǎn)”（nodes）和“線”(edges)的有向圖來(lái)描述數(shù)學(xué)計(jì)算?！肮?jié)點(diǎn)”一般用來(lái)表示施加的數(shù)學(xué)操作，但也可以表示數(shù)據(jù)輸入（feedin）的起點(diǎn)/輸出（pushout）的終點(diǎn)，或者是讀取/寫(xiě)入持久變量（persistentvariable）的終點(diǎn)。“線”表示“節(jié)點(diǎn)”之間的輸入/輸出關(guān)系。這些數(shù)據(jù)“線”可以輸運(yùn)“size可動(dòng)態(tài)調(diào)整”的多維數(shù)據(jù)數(shù)組，即“張量”（tensor）。張量從圖中流過(guò)的直觀圖像是這個(gè)工具取名為“TensorFlow”的原因。一旦輸入端的所有張量準(zhǔn)備好，節(jié)點(diǎn)將被分配到各種計(jì)算設(shè)備完成異步并行地執(zhí)行運(yùn)算。TensorFlow的特點(diǎn)特點(diǎn)設(shè)備遷移商業(yè)策略擴(kuò)展便捷界面交互數(shù)據(jù)透明TensorFlow不是一個(gè)嚴(yán)格的“神經(jīng)網(wǎng)絡(luò)”庫(kù)。只要用戶可以將計(jì)算表示為一個(gè)數(shù)據(jù)流圖就可以使用TensorFlow。用戶負(fù)責(zé)構(gòu)建圖，描寫(xiě)驅(qū)動(dòng)計(jì)算的內(nèi)部循環(huán)。TensorFlow提供有用的工具來(lái)幫助用戶組裝“子圖”，用戶也可以在TensorFlow基礎(chǔ)上寫(xiě)自己的“上層庫(kù)”。TensorFlow的可擴(kuò)展性相當(dāng)強(qiáng)，可以自己寫(xiě)一些c++代碼來(lái)豐富底層的操作?；谔荻鹊臋C(jī)器學(xué)習(xí)算法會(huì)受益于TensorFlow自動(dòng)求微分的能力。只需要定義預(yù)測(cè)模型的結(jié)構(gòu)，將這個(gè)結(jié)構(gòu)和目標(biāo)函數(shù)（objectivefunction）結(jié)合在一起，并添加數(shù)據(jù)，TensorFlow將自動(dòng)計(jì)算相關(guān)的微分導(dǎo)數(shù)。計(jì)算某個(gè)變量相對(duì)于其他變量的導(dǎo)數(shù)僅僅是通過(guò)擴(kuò)展你的圖來(lái)完成的，所以用戶能一直清楚看到究竟在發(fā)生什么。TensorFlow在CPU和GPU上運(yùn)行，比如說(shuō)可以運(yùn)行在臺(tái)式機(jī)、服務(wù)器、手機(jī)移動(dòng)設(shè)備等等。TensorFlow支持將訓(xùn)練模型自動(dòng)在多個(gè)CPU上規(guī)?；\(yùn)算，以及將模型遷移到移動(dòng)端后臺(tái)。TensorFlow還有一個(gè)合理的c++使用界面，也有一個(gè)易用的python使用界面來(lái)構(gòu)建和執(zhí)行你的graphs。你可以直接寫(xiě)python/c++程序，也可以用交互式的ipython界面來(lái)用TensorFlow嘗試些想法，它可以幫用戶將筆記、代碼、可視化等有條理地歸置好。TensorFlow概述TensorFlow中Flow，也就是流，是其完成運(yùn)算的基本方式。流是指一個(gè)計(jì)算圖或簡(jiǎn)單的一個(gè)圖，圖不能形成環(huán)路，圖中的每個(gè)節(jié)點(diǎn)代表一個(gè)操作，如加法、減法等。每個(gè)操作都會(huì)導(dǎo)致新的張量形成。計(jì)算圖具有以下屬性：葉子頂點(diǎn)或起始頂點(diǎn)始終是張量。意即，操作永遠(yuǎn)不會(huì)發(fā)生在圖的開(kāi)頭，由此可以推斷，圖中的每個(gè)操作都應(yīng)該接受一個(gè)張量并產(chǎn)生一個(gè)新的張量。同樣，張量不能作為非葉子節(jié)點(diǎn)出現(xiàn)，這意味著它們應(yīng)始終作為輸入提供給操作/節(jié)點(diǎn)。計(jì)算圖總是以層次順序表達(dá)復(fù)雜的操作。通過(guò)將a+b表示為c，將b+1表示為d，可以分層次組織上述表達(dá)式。因此，可以將e寫(xiě)為：e=(c)x(d)這里c=a+b且d=b+1.以反序遍歷圖形而形成子表達(dá)式，這些子表達(dá)式組合起來(lái)形成最終表達(dá)式。當(dāng)我們正向遍歷時(shí)，遇到的頂點(diǎn)總是成為下一個(gè)頂點(diǎn)的依賴關(guān)系，例如沒(méi)有a和b就無(wú)法獲得c，同樣的，如果不解決c和d則無(wú)法獲得e。同級(jí)節(jié)點(diǎn)的操作彼此獨(dú)立，這是計(jì)算圖的重要屬性之一。當(dāng)我們按照?qǐng)D中所示的方式構(gòu)造一個(gè)圖時(shí)，很自然的是，在同一級(jí)中的節(jié)點(diǎn)，例如c和d，彼此獨(dú)立，這意味著沒(méi)有必要在計(jì)算d之前計(jì)算c。因此它們可以并行執(zhí)行。計(jì)算圖的并行也是最重要的屬性之一。它清楚地表明，同級(jí)的節(jié)點(diǎn)是獨(dú)立的，這意味著在c被計(jì)算之前不需空閑，可以在計(jì)算c的同時(shí)并行計(jì)算d。TensorFlow充分利用了這個(gè)屬性。TensorFlow概述TensorFlow允許用戶使用并行計(jì)算設(shè)備更快地執(zhí)行操作。計(jì)算的節(jié)點(diǎn)或操作自動(dòng)調(diào)度進(jìn)行并行計(jì)算。這一切都發(fā)生在內(nèi)部，例如在上圖中，可以在CPU上調(diào)度操作c，在GPU上調(diào)度操作d。下圖展示了兩種分布式執(zhí)行的過(guò)程。上圖中，第一種是單個(gè)系統(tǒng)分布式執(zhí)行，其中單個(gè)TensorFlow會(huì)話創(chuàng)建單個(gè)worker，并且該worker負(fù)責(zé)在各設(shè)備上調(diào)度任務(wù)。在第二種系統(tǒng)下，有多個(gè)worker，他們可以在同一臺(tái)機(jī)器上或不同的機(jī)器上，每個(gè)worker都在自己的上下文中運(yùn)行。在上圖中，worker進(jìn)程1運(yùn)行在獨(dú)立的機(jī)器上，并調(diào)度所有可用設(shè)備進(jìn)行計(jì)算。TensorFlow概述子圖是主圖的一部分，從屬性2可以說(shuō)子圖總是表示一個(gè)子表達(dá)式，因?yàn)閏是e的子表達(dá)式。子圖也滿足最后一個(gè)屬性。同一級(jí)別的子圖也相互獨(dú)立，可以并行執(zhí)行。因此可以在一臺(tái)設(shè)備上調(diào)度整個(gè)子圖。左圖解釋了子圖的并行執(zhí)行。這里有2個(gè)矩陣乘法運(yùn)算，因?yàn)樗鼈兌继幱谕患?jí)別，彼此獨(dú)立，這符合最后一個(gè)屬性。由于獨(dú)立性的緣故，節(jié)點(diǎn)安排在不同的設(shè)備gpu_0和gpu_1上。TensorFlow將其所有操作分配到由worker管理的不同設(shè)備上。更常見(jiàn)的是，worker之間交換張量形式的數(shù)據(jù)，例如在e=（c）*（d）的圖表中，一旦計(jì)算出c，就需要將其進(jìn)一步傳遞給e，因此Tensor在節(jié)點(diǎn)間前向流動(dòng)。該流動(dòng)如右圖所示。第四節(jié)PaddlePaddle的特點(diǎn)和概述PaddlePaddle簡(jiǎn)介SWOTPaddlePaddle的2.0版本相對(duì)1.8版本有重大升級(jí)，包括完善動(dòng)態(tài)圖功能，動(dòng)態(tài)圖模式下數(shù)據(jù)表示概念為T(mén)ensor；調(diào)整API目錄體系，API的命名和別名進(jìn)行了統(tǒng)一規(guī)范化；數(shù)據(jù)處理、組網(wǎng)方式、模型訓(xùn)練、多卡啟動(dòng)、模型保存和推理等開(kāi)發(fā)流程都有了對(duì)應(yīng)優(yōu)化。PaddlePaddle（飛槳）是由百度自主研發(fā)的開(kāi)源深度學(xué)習(xí)框架。PaddlePaddle以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件、工具組件和服務(wù)平臺(tái)于一體。飛槳源于產(chǎn)業(yè)實(shí)踐，始終致力于與產(chǎn)業(yè)深入融合。目前飛槳已廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)等，與合作伙伴一起幫助越來(lái)越多的行業(yè)完成AI賦能。飛漿2016年正式開(kāi)源，2017年啟動(dòng)新一代深度學(xué)習(xí)框架研發(fā)，2018年7月發(fā)布Paddlev0.14，目前的最新版本是2022年底發(fā)布的Paddlev2.3.1。PaddlePaddle的特點(diǎn)PaddlePaddle是靈活高效的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)框架。它采用基于編程邏輯的組網(wǎng)范式，對(duì)于普通開(kāi)發(fā)者而言更容易上手，符合他們的開(kāi)發(fā)習(xí)慣。同時(shí)支持聲明式和命令式編程，兼具開(kāi)發(fā)的靈活性和高性能。網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)設(shè)計(jì)，模型效果超越人類(lèi)專(zhuān)家。同時(shí)，PaddlePaddle支持超大規(guī)模深度學(xué)習(xí)模型的訓(xùn)練。它突破了超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)，實(shí)現(xiàn)了世界首個(gè)支持千億特征、萬(wàn)億參數(shù)、數(shù)百節(jié)點(diǎn)的開(kāi)源大規(guī)模訓(xùn)練平臺(tái)，攻克了超大規(guī)模深度學(xué)習(xí)模型的在線學(xué)習(xí)難題，實(shí)現(xiàn)了萬(wàn)億規(guī)模參數(shù)模型的實(shí)時(shí)更新。然后，PaddlePaddle還有多端多平臺(tái)部署的高性能推理引擎。它不僅兼容其他開(kāi)源框架訓(xùn)練的模型，還可以輕松地部署到不同架構(gòu)的平臺(tái)設(shè)備上。同時(shí)，飛槳的推理速度也是全面領(lǐng)先的。尤其經(jīng)過(guò)了跟華為麒麟NPU的軟硬一體優(yōu)化，使得飛槳在NPU上的推理速度進(jìn)一步突破。030102ThreeTwoOnePaddlePaddle概述PaddlePaddle不僅僅是一個(gè)深度學(xué)習(xí)的框架，基于該核心框架，百度公司擴(kuò)展了一系列的工具和模型，覆蓋了深度學(xué)習(xí)開(kāi)發(fā)和應(yīng)用的整個(gè)流程，已然成為了一個(gè)功能齊全的產(chǎn)品。PaddlePaddle的官網(wǎng)上給出了產(chǎn)品的全景介紹，其中包括了主要使用流程和使用工具。首先在開(kāi)發(fā)和訓(xùn)練方面，如圖2-10所示，PaddlePaddle以深度學(xué)習(xí)框架為核心，包括了高階分布式訓(xùn)練FleetAPI、靈活通用且易于使用的NLP大規(guī)模預(yù)訓(xùn)練和多任務(wù)學(xué)習(xí)框架PALM、云上任務(wù)平臺(tái)PaddleCloud和量子機(jī)器學(xué)習(xí)框架PaddleQuantum。PaddlePaddle概述在模型方面，PaddlePaddle提供了預(yù)訓(xùn)練模型工具PaddleHub和模型壓縮工具PaddleSlim，同時(shí)為不同的領(lǐng)域提供了開(kāi)發(fā)套件，如圖2-11所示。尤其是PaddleOCR，在很多OCR的產(chǎn)品中都有其影子。同時(shí)還有文心大模型、PaddleCV、PaddleNLP等模型庫(kù)，為開(kāi)發(fā)者提供了極大的便利。PaddlePaddle概述而部署方面，PaddlePaddle也為不同的平臺(tái)提供了相應(yīng)工具。如圖2-12所示，PaddleInference提供原生推理庫(kù)，PaddleServing提供方便的服務(wù)端部署，PaddleLite則面向輕量級(jí)部署，Paddle.js為Web前端提供部署方式，F(xiàn)astDeploy則是一個(gè)新的、綜合的部署套件。第五節(jié)三者的比較三者的比較PyTorchPyTorch是當(dāng)前難得的簡(jiǎn)潔優(yōu)雅且高效快速的框架。PyTorch的設(shè)計(jì)追求最少的封裝，遵循tensor→variable(autograd)→nn.Module三個(gè)由低到高的抽象層次，分別代表高維數(shù)組（張量）、自動(dòng)求導(dǎo)（變量）和神經(jīng)網(wǎng)絡(luò)（層/模塊），而且這三個(gè)抽象之間聯(lián)系緊密，可以同時(shí)進(jìn)行修改和操作。PyTorch的靈活性不以速度為代價(jià)，在許多評(píng)測(cè)中，PyTorch的速度表現(xiàn)勝過(guò)TensorFlow和Keras等框架。簡(jiǎn)潔的設(shè)計(jì)帶來(lái)的另外一個(gè)好處就是代碼易于理解。三者的比較PyTorch正在受到越來(lái)越多人的追捧。PyTorch是所有的框架中面向?qū)ο笤O(shè)計(jì)的最優(yōu)雅的一個(gè)。PyTorch的面向?qū)ο蟮慕涌谠O(shè)計(jì)來(lái)源于Torch，而Torch的接口設(shè)計(jì)以靈活易用而著稱。PyTorch繼承了Torch的衣缽，尤其是API的設(shè)計(jì)和模塊的接口都與Torch高度一致。PyTorch的設(shè)計(jì)最符合人們的思維，它讓用戶盡可能地專(zhuān)注于實(shí)現(xiàn)自己的想法，即所思即所得，不需要考慮太多關(guān)于框架本身的束縛。PyTorch提供了完整的文檔，循序漸進(jìn)的指南，作者親自維護(hù)的論壇供用戶交流和求教問(wèn)題。Facebook人工智能研究院對(duì)PyTorch提供了強(qiáng)力支持，作為當(dāng)今排名前三的深度學(xué)習(xí)研究機(jī)構(gòu)，F(xiàn)AIR的支持足以確保PyTorch獲得持續(xù)的開(kāi)發(fā)更新。同樣的，由于推出時(shí)間較短，在Github上并沒(méi)有如Caffe或TensorFlow那樣多的代碼實(shí)現(xiàn)，使用TensorFlow能找到很多別人的代碼，而對(duì)于PyTorch的使用者，可能需要自己完成很多的代碼實(shí)現(xiàn)。三者的比較R010203TensorFlow已經(jīng)成為當(dāng)今最炙手可熱的深度學(xué)習(xí)框架，但是由于自身的缺陷，TensorFlow離最初的設(shè)計(jì)目標(biāo)還很遙遠(yuǎn)。TensorFlow編程接口支持Python和C++。隨著1.0版本的公布，Java、Go、R和HaskellAPI的alpha版本也被支持。此外，TensorFlow還可在GoogleCloud和AWS中運(yùn)行。TensorFlow還支持Windows7、Windows10和WindowsServer2016。由于TensorFlow使用C++Eigen庫(kù)，所以庫(kù)可在ARM架構(gòu)上編譯和優(yōu)化。這也就意味著用戶可以在各種服務(wù)器和移動(dòng)設(shè)備上部署自己的訓(xùn)練模型，無(wú)須執(zhí)行單獨(dú)的模型解碼器或者加載Python解釋器。TensorFlow和Theano擁有相近的設(shè)計(jì)理念，都是基于計(jì)算圖實(shí)現(xiàn)自動(dòng)微分系統(tǒng)。TensorFlow使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算，圖中的節(jié)點(diǎn)代表數(shù)學(xué)運(yùn)算，而圖中的邊則代表在這些節(jié)點(diǎn)之間傳遞的多維數(shù)組。TensorFlow三者的比較01020304過(guò)于復(fù)雜的系統(tǒng)設(shè)計(jì)。TensorFlow代碼量龐大，使維護(hù)難以完成。對(duì)于入門(mén)者，TensorFlow的底層運(yùn)行機(jī)制難以掌握，很多時(shí)候?qū)е铝朔艞?。頻繁變動(dòng)的接口。TensorFlow的接口一直處于快速迭代之中，且向后兼容性較差，這導(dǎo)致許多陳舊的開(kāi)源代碼已經(jīng)無(wú)法在新版運(yùn)行，同時(shí)也間接導(dǎo)致了許多第三方框架出現(xiàn)BUG。至今TensorFlow仍沒(méi)有一個(gè)統(tǒng)一易用的接口。接口設(shè)計(jì)過(guò)于晦澀難懂，擁有圖、會(huì)話、命名空間、PlaceHolder等諸多抽象概念，對(duì)普通用戶來(lái)說(shuō)難以理解。同一個(gè)功能，TensorFlow提供了多種實(shí)現(xiàn)，這些實(shí)現(xiàn)良莠不齊，使用中還有細(xì)微的區(qū)別，很容易將用戶帶入坑中。TensorFlow作為一個(gè)復(fù)雜的系統(tǒng)，文檔和教程眾多，但缺乏明顯的條理和層次，雖然查找很方便，但用戶卻很難找到一個(gè)真正循序漸進(jìn)的入門(mén)教程。TensorFlow的批評(píng)三者的比較RPaddlePaddle給我們留下最深的印象就是巨大的本土化優(yōu)勢(shì)?，F(xiàn)在的深度學(xué)習(xí)框架的發(fā)展的速度逐漸慢了下來(lái)，這也意味著深度學(xué)習(xí)框架在現(xiàn)階段已經(jīng)趨近成熟。而我們?cè)谑褂每蚣軙r(shí)會(huì)發(fā)現(xiàn)，框架上的差異逐漸小了，API也越來(lái)越相似，甚至框架的遷移也變得容易起來(lái)。但是以PaddlePaddle為代表的國(guó)產(chǎn)深度學(xué)習(xí)框架則在發(fā)展中不斷尋找著屬于自己的特色。01020304GOALPaddlePaddlePaddlePaddle有著極